Ako skontrolovať AI crawlery v logoch servera

Publikované

Krátka odpoveď

V poli user agenta v prístupovom logu vyhľadajte tokeny ako GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot a PerplexityBot a pozrite sa, aké stavové kódy dostali. Samotný user agent nič nedokazuje, preto každú zdrojovú IP overte podľa zoznamu IP, ktorý dodávateľ zverejňuje, alebo pri Google a Apple reverzným a dopredným DNS.

robots.txt hovorí, o čo crawlery žiadate. Prístupový log ukazuje, čo sa naozaj stalo: ktoré AI crawlery prišli, ktoré stránky si vyžiadali a čo im váš server odpovedal. Je to najpriamejší dôkaz, aký máte, a potrebujete naň len súbory logov a terminál. Príklady nižšie používajú formát combined, ktorý nginx a Apache používajú predvolene.

Na tejto stránke
  1. Ako vyzerá návšteva AI crawlera v prístupovom logu?
  2. Ako spočítať návštevy AI crawlerov?
  3. Čo každý crawler naozaj dostal?
  4. Ako overiť, že návšteva naozaj prišla od OpenAI, Anthropic alebo Perplexity?
  5. Ako overiť Googlebot, Applebot a CCBot?
  6. Ako vyzerajú falošné AI crawlery?
  7. Čo vám logy nepovedia?

Ako vyzerá návšteva AI crawlera v prístupovom logu?

Vo formáte combined obsahuje každý riadok IP klienta, čas, riadok požiadavky, stavový kód, veľkosť odpovede, referrer a user agenta. nginx ho definuje ako $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" a formát combined v Apache má tie isté polia. Návšteva tréningového crawlera OpenAI vyzerá takto:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Hľadajte tokeny, ktoré dodávatelia dokumentujú: GPTBot, OAI-SearchBot a ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot a Claude-User (Anthropic); PerplexityBot a Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer a CCBot. Google-Extended ani Applebot-Extended nikdy neuvidíte. Google uvádza, že Google-Extended nemá samostatný reťazec user agenta, a Apple uvádza, že Applebot-Extended nič neprechádza; oba sú len tokeny v robots.txt.

Ako spočítať návštevy AI crawlerov?

Ak každý riadok rozdelíte podľa znaku dvojitých úvodzoviek, user agent bude v poli 6. Keď porovnávate len toto pole, vyhnete sa falošným zhodám z URL, ktoré náhodou obsahujú názov bota. Tento príkaz spočíta návštevy jednotlivých crawlerov v aktuálnom logu aj v rotovaných, komprimovaných logoch:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Pre Apache upravte cestu, často /var/log/apache2/access.log* alebo /var/log/httpd/access_log*. zcat -f číta obyčajné aj gzipované súbory. Ak crawler, ktorý očakávate, chýba, samo osebe to blok nedokazuje: možno v období, ktoré vaše logy pokrývajú, jednoducho neprišiel.

Čo každý crawler naozaj dostal?

Návštevy sú menej dôležité ako odpovede. Crawler, ktorý na každú požiadavku dostane 403, prišiel, ale nič neprečítal. Tieto príkazy ukážu stavové kódy, najčastejšie žiadané cesty a to, či si crawler stiahol robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Chcete vidieť prevažne kódy 200. Veľa kódov 403 alebo 429 ukazuje na pravidlo firewallu alebo obmedzenie rýchlosti. Odpovede 5xx na robots.txt sú vážne: podľa RFC 9309 musí crawler, ktorý pri robots.txt dostane chybu servera, predpokladať, že celý web je zakázaný.

Ak je váš web za CDN, menia sa dve veci. Požiadavky, ktoré CDN zablokuje, sa k vášmu pôvodnému serveru nikdy nedostanú, takže v jeho logoch vôbec nie sú; namiesto toho skontrolujte bezpečnostné udalosti samotného CDN. A ak neobnovíte IP návštevníka, pôvodný server zapisuje adresu CDN. Cloudflare napríklad posiela pôvodnú IP v hlavičke CF-Connecting-IP a predvolene sa zapisuje IP Cloudflare.

Ako overiť, že návšteva naozaj prišla od OpenAI, Anthropic alebo Perplexity?

Títo dodávatelia zverejňujú rozsahy IP, ktoré ich agenti používajú: OpenAI na openai.com/gptbot.json, openai.com/searchbot.json a openai.com/chatgpt-user.json; Anthropic na claude.com/crawling/bots.json; Perplexity na perplexity.ai/perplexitybot.json a perplexity.ai/perplexity-user.json. Anthropic uvádza, že zdrojová IP z jeho zoznamu znamená, že crawler prichádza od Anthropic. Ani jeden z týchto troch dodávateľov nedokumentuje overenie reverzným DNS, preto použite zoznamy.

Súbory majú rovnaký tvar, zoznam prefixes s položkami ipv4Prefix alebo ipv6Prefix, takže jeden malý skript overí IP voči ktorémukoľvek z nich:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Ak chcete vypísať IP, ktoré sa vydávali za daný crawler, spustite nad logom awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' a výstup pošlite cez sort | uniq -c | sort -rn. Každú overte voči príslušnému zoznamu. Zoznamy sa menia, preto ich zakaždým stiahnite nanovo a nespoliehajte sa na starú kópiu.

Ako overiť Googlebot, Applebot a CCBot?

Google, Apple a Common Crawl dokumentujú kontrolu reverzným a dopredným DNS. Zistite hostname danej IP, skontrolujte jeho doménu, potom vyhľadajte tento hostname a overte, že ukazuje späť na tú istú IP:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Pri Google musí hostname končiť na googlebot.com, google.com alebo googleusercontent.com podľa crawlera; Google zverejňuje aj svoje rozsahy, Googlebot v common-crawlers.json. Pri Apple musí byť v applebot.apple.com, rozsahy sú v applebot.json. Pri Common Crawl musí byť pod crawl.commoncrawl.org a Common Crawl upozorňuje, že sa za názov CCBot falošne vydávajú aj iné crawlery.

Ako vyzerajú falošné AI crawlery?

Scrapery si často požičiavajú user agenta známeho crawlera, aby prešli cez filtre. Typické znaky:

Existuje aj opačný problém: crawler, ktorý používa bežného user agenta prehliadača, sa z riadku logu nedá identifikovať vôbec. V roku 2025 Cloudflare uviedol, že pozoroval, ako Perplexity prechádza weby s nedeklarovanými user agentmi podobnými prehliadaču z IP mimo svojich zverejnených rozsahov; Perplexity tento opis spochybnilo a časť prevádzky pripísalo službe tretej strany. Samotné logy také prípady nerozhodnú, a preto má overenie podľa zverejnených rozsahov IP zmysel oboma smermi.

Čo vám logy nepovedia?

Logy ukazujú, čo sa dostalo na váš server. Neukazujú, čo vaše CDN zablokovalo ešte pred pôvodným serverom, či stránka, ktorá vrátila 200, obsahovala text, alebo len kostru so skriptom, ani to, či by crawler bol povolený, keby prišiel dnes. Pokrývajú tiež len obdobie, ktoré uchovávate, a na málo navštevovaných weboch sa AI crawlery môžu objavovať zriedka.

V účte AISeeWhy môžete nahrať prístupový log vo formáte combined (obyčajný alebo .gz, do 50 MB); zanalyzuje sa a zahodí a požiadavky každého AI crawlera sa spočítajú so stavovými kódmi a overia voči rozsahom IP, ktoré dodávatelia zverejňujú.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Prečo v logoch nevidím Google-Extended?

Google uvádza, že Google-Extended nemá samostatný reťazec user agenta. Prechádzanie robia existujúce crawlery Google a token len určuje, ako sa smie obsah použiť. To isté platí pre Applebot-Extended, ktorý podľa Apple nič neprechádza.

Môžem veriť user agentovi v logoch?

Nie. Ktokoľvek môže poslať akéhokoľvek user agenta. Berte ho ako tvrdenie a overte ho podľa rozsahov IP, ktoré dodávateľ zverejňuje, alebo pri Google, Apple a Common Crawl reverzným a dopredným vyhľadaním DNS.

V logoch nevidím žiadne návštevy AI crawlerov. Som zablokovaný?

Nie nevyhnutne. Crawler možno ešte neprišiel, vaše CDN ho mohlo zablokovať pred pôvodným serverom alebo vaše logy zapisujú len IP adresy CDN. Skontrolujte bezpečnostné udalosti CDN a otestujte stránku s user agentom každého crawlera.

Je prevádzka ChatGPT-User crawler?

OpenAI uvádza, že ChatGPT-User sa používa na niektoré akcie používateľov a nepoužíva sa na automatické prechádzanie webu. Jeho návštevy zvyčajne nasledujú po tom, čo sa niekto spýta ChatGPT na stránku, takže prichádzajú v malom počte.

Zdroje

Ďalšie články