Paano suriin ang server log mo para sa mga AI crawler
Hanapin sa user agent field ng access log mo ang mga token gaya ng GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot at PerplexityBot, saka tingnan ang mga status code na nakuha nila. Walang pinapatunayan ang user agent lang, kaya suriin ang bawat pinagmulang IP laban sa inilathalang IP list ng vendor, o gamit ang reverse at forward DNS para sa Google at Apple.
Sinasabi ng robots.txt kung ano ang hinihiling mo sa mga crawler. Ipinapakita ng access log mo kung ano talaga ang nangyari: aling mga AI crawler ang dumating, aling mga pahina ang ni-request nila, at ano ang isinagot ng server mo. Ito ang pinakadirektang ebidensyang mayroon ka, at wala itong kailangan kundi ang mga log file at isang terminal. Ginagamit ng mga halimbawa sa ibaba ang combined log format na default ng nginx at Apache.
Sa pahinang ito
- Ano ang hitsura ng pagbisita ng AI crawler sa access log?
- Paano ko bibilangin ang mga pagbisita ng AI crawler?
- Ano talaga ang nakuha ng bawat crawler?
- Paano ko mabeberipika na talagang galing sa OpenAI, Anthropic o Perplexity ang isang pagbisita?
- Paano ko mabeberipika ang Googlebot, Applebot at CCBot?
- Ano ang hitsura ng mga pekeng AI crawler?
- Ano ang hindi masasabi sa iyo ng mga log?
Ano ang hitsura ng pagbisita ng AI crawler sa access log?
Sa combined format, nasa bawat linya ang IP ng client, ang oras, ang request line, ang status code, ang laki ng sagot, ang referrer at ang user agent. Itinatakda ito ng nginx bilang $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", at pareho ang mga field ng combined format ng Apache. Ganito ang hitsura ng pagbisita ng training crawler ng OpenAI:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" Ang mga token na hahanapin ay ang mga inilalarawan ng mga vendor: GPTBot, OAI-SearchBot at ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot at Claude-User (Anthropic); PerplexityBot at Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer at CCBot. Hindi mo kailanman makikita ang Google-Extended o Applebot-Extended. Sinasabi ng Google na walang hiwalay na user agent string ang Google-Extended, at sinasabi ng Apple na hindi nagka-crawl ang Applebot-Extended; pareho silang robots.txt token lang.
Paano ko bibilangin ang mga pagbisita ng AI crawler?
Kapag hinati ang bawat linya sa double quote, napupunta ang user agent sa field 6. Ang pagtutugma sa field na iyon lang ay umiiwas sa maling tama mula sa mga URL na nagkataong may pangalan ng bot. Binibilang nito ang mga pagbisita kada crawler sa kasalukuyang log at sa mga na-rotate at naka-compress na log:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Ibagay ang path para sa Apache, kadalasang /var/log/apache2/access.log* o /var/log/httpd/access_log*. Binabasa ng zcat -f ang parehong plain at naka-gzip na file. Kung wala ang crawler na inaasahan mo, hindi iyon patunay ng block: maaaring hindi lang ito bumisita sa panahong saklaw ng mga log mo.
Ano talaga ang nakuha ng bawat crawler?
Mas mahalaga ang mga sagot kaysa sa mga pagbisita. Ang crawler na nakakakuha ng 403 sa bawat request ay bumisita pero walang nabasa. Ipinapakita ng mga command na ito ang mga status code, ang mga pinakamadalas i-request na path at kung kinuha ng crawler ang robots.txt:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c Karamihang 200 ang gusto mo. Ang maraming 403 o 429 ay tumuturo sa firewall rule o rate limit. Seryoso ang mga sagot na 5xx sa robots.txt: ayon sa RFC 9309, ang crawler na nakakakuha ng server error para sa robots.txt ay dapat ituring na hindi pinapayagan ang buong site.
Kung nasa likod ng CDN ang site mo, dalawang bagay ang nagbabago. Hindi umaabot sa origin mo ang mga request na bina-block ng CDN, kaya hindi talaga sila lumalabas sa mga log nito; tingnan na lang ang sariling security events ng CDN. At maliban kung ibabalik mo ang IP ng bisita, ang address ng CDN ang itinatala ng origin. Halimbawa, ipinapadala ng Cloudflare ang orihinal na IP sa header na CF-Connecting-IP at IP ng Cloudflare ang naitatala bilang default.
Paano ko mabeberipika na talagang galing sa OpenAI, Anthropic o Perplexity ang isang pagbisita?
Inilalathala ng mga vendor na ito ang mga IP range na ginagamit ng mga agent nila: ang OpenAI sa openai.com/gptbot.json, openai.com/searchbot.json at openai.com/chatgpt-user.json; ang Anthropic sa claude.com/crawling/bots.json; ang Perplexity sa perplexity.ai/perplexitybot.json at perplexity.ai/perplexity-user.json. Sinasabi ng Anthropic na ang pinagmulang IP na nasa listahan nito ay nagpapahiwatig na galing sa Anthropic ang crawler. Wala sa tatlong ito ang naglalarawan ng beripikasyon sa reverse DNS, kaya gamitin ang mga listahan.
Iisa ang anyo ng mga file, isang listahang prefixes ng mga entry na ipv4Prefix o ipv6Prefix, kaya isang maliit na script ang makakapagsuri ng IP laban sa alinman sa kanila:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF Para ilista ang mga IP na nagpakilala bilang isang partikular na crawler, patakbuhin ang awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' sa log at ipasa ito sa sort | uniq -c | sort -rn. Suriin ang bawat isa laban sa katugmang listahan. Nagbabago ang mga listahan, kaya kunin ang mga ito nang sariwa sa halip na magtago ng lumang kopya.
Paano ko mabeberipika ang Googlebot, Applebot at CCBot?
Naglalarawan ang Google, Apple at Common Crawl ng pagsusuri gamit ang reverse at forward DNS. Hanapin ang hostname ng IP, suriin ang domain nito, saka hanapin ang hostname na iyon at tiyaking tumuturo ito pabalik sa parehong IP:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Para sa Google, dapat magtapos ang hostname sa googlebot.com, google.com o googleusercontent.com, depende sa crawler; inilalathala rin ng Google ang mga range nito, kasama ang Googlebot sa common-crawlers.json. Para sa Apple, dapat nasa applebot.apple.com ito, at nasa applebot.json ang mga range. Para sa Common Crawl, dapat nasa ilalim ito ng crawl.commoncrawl.org, at nagbababala ang Common Crawl na may ibang crawler na nagpapanggap na CCBot.
Ano ang hitsura ng mga pekeng AI crawler?
Madalas hiramin ng mga scraper ang user agent ng isang kilalang crawler para makalampas sa mga filter. Mga karaniwang palatandaan:
- May pangalan ng crawler ang user agent, pero wala ang IP sa inilathalang listahan ng vendor na iyon, o hindi tumutugma ang reverse DNS nito.
- Galing ito sa residential network o sa cloud provider na hindi nakalista ng vendor.
- Hindi kailanman nire-request ng client ang robots.txt, o nire-request nito ang mga path na dini-disallow ng robots.txt para sa crawler na iyon.
- Malaki ang pagkakaiba ng bilis o pattern ng request sa beripikadong traffic na may parehong pangalan, halimbawa ang biglang dagsa sa mga search o login endpoint.
Umiiral din ang kabaligtarang problema: ang crawler na gumagamit ng karaniwang user agent ng browser ay hindi talaga makikilala mula sa linya ng log. Noong 2025, sinabi ng Cloudflare na nakita nitong nagka-crawl ang Perplexity gamit ang hindi idinedeklarang user agent na mukhang browser mula sa mga IP na labas sa mga inilathala nitong range; tinutulan ng Perplexity ang salaysay na iyon at iniugnay ang bahagi ng traffic sa isang third-party service. Hindi kayang lutasin ng mga log lang ang ganitong mga kaso, kaya mahalaga ang beripikasyon ayon sa mga inilathalang IP range sa magkabilang direksyon.
Ano ang hindi masasabi sa iyo ng mga log?
Ipinapakita ng mga log kung ano ang umabot sa server mo. Hindi nila ipinapakita kung ano ang na-block ng CDN mo bago ang origin, kung ang pahinang nagbalik ng 200 ay may text o script shell lang, o kung papapasukin ang isang crawler kung dumating ito ngayon. Saklaw lang din nila ang panahong itinatago mo, at ang mga tahimik na site ay maaaring bihirang makakita ng AI crawler.
Sa isang AISeeWhy account, puwede kang mag-upload ng access log sa combined format (plain o .gz, hanggang 50 MB); sinusuri ito at itinatapon, at binibilang ang mga request ng bawat AI crawler kasama ang mga status code nila at sinusuri laban sa mga IP range na inilalathala ng mga vendor.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Bakit hindi ko makita ang Google-Extended sa mga log ko?
Sinasabi ng Google na walang hiwalay na user agent string ang Google-Extended. Ang mga kasalukuyang crawler ng Google ang nagka-crawl, at kinokontrol lang ng token kung paano maaaring gamitin ang content. Ganoon din ang Applebot-Extended, na ayon sa Apple ay hindi nagka-crawl.
Mapagkakatiwalaan ko ba ang user agent sa mga log ko?
Hindi. Kahit sino ay puwedeng magpadala ng anumang user agent. Ituring itong pahayag at kumpirmahin gamit ang mga inilathalang IP range ng vendor o, para sa Google, Apple at Common Crawl, isang reverse at forward DNS lookup.
Walang pagbisita ng AI crawler sa mga log ko. Naka-block ba ako?
Hindi tiyak. Maaaring hindi pa bumibisita ang crawler, maaaring na-block ito ng CDN mo bago ang origin, o maaaring IP address lang ng CDN ang naitatala ng mga log mo. Tingnan ang security events ng CDN mo at subukan ang pahina gamit ang user agent ng bawat crawler.
Crawler ba ang traffic ng ChatGPT-User?
Sinasabi ng OpenAI na ginagamit ang ChatGPT-User para sa ilang aksyon ng user at hindi ginagamit para awtomatikong mag-crawl ng web. Karaniwang kasunod ng pagtatanong ng isang tao sa ChatGPT tungkol sa isang pahina ang mga pagbisita nito, kaya kakaunti lang ang mga ito.
Mga pinagmulan
- nginx: ngx_http_log_module (combined log format)
- Apache HTTP Server 2.4: Log files
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Verifying Google crawlers and fetchers
- Google: Common crawlers, including Google-Extended
- Apple: About Applebot
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Restoring original visitor IPs
- Cloudflare: Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives
- Perplexity: Agents or bots? Making sense of AI on the open web