Kuidas leida serveri logidest AI-robotid

Avaldatud

Lühike vastus

Otsi juurdepääsulogi user agent'i väljalt tunnuseid nagu GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot ja PerplexityBot ning vaata, milliseid olekukoode need said. User agent üksi ei tõesta midagi, seega kontrolli iga lähte-IP-d pakkuja avaldatud IP-loendi järgi või Google'i ja Apple'i puhul pöörd- ja otse-DNS-i järgi.

robots.txt ütleb, mida sa robotitelt palud. Juurdepääsulogi näitab, mis tegelikult juhtus: millised AI-robotid tulid, milliseid lehti nad küsisid ja mida sinu server vastas. See on kõige otsesem tõend, mis sul on, ja selleks pole vaja muud kui logifaile ja terminali. Allolevad näited kasutavad combined-logivormingut, mida nginx ja Apache vaikimisi kasutavad.

Sellel lehel
  1. Milline näeb AI-roboti külastus juurdepääsulogis välja?
  2. Kuidas AI-robotite külastusi loendada?
  3. Mida iga robot tegelikult sai?
  4. Kuidas kinnitada, et külastus tuli tõesti OpenAI-lt, Anthropicult või Perplexitylt?
  5. Kuidas kinnitada Googlebot-i, Applebot-i ja CCBot-i?
  6. Millised näevad välja võltsitud AI-robotid?
  7. Mida logid sulle öelda ei saa?

Milline näeb AI-roboti külastus juurdepääsulogis välja?

Combined-vormingus sisaldab iga rida kliendi IP-d, aega, päringurida, olekukoodi, vastuse suurust, viitajat ja user agent'it. nginx määratleb selle kujul $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ja Apache'i combined vormingus on samad väljad. OpenAI treeningroboti külastus näeb välja selline:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Otsida tasub pakkujate dokumenteeritud tunnuseid: GPTBot, OAI-SearchBot ja ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot ja Claude-User (Anthropic); PerplexityBot ja Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer ja CCBot. Google-Extended-it ega Applebot-Extended-it ei näe sa kunagi. Google ütleb, et Google-Extended-il pole eraldi user agent'i stringi, ja Apple ütleb, et Applebot-Extended ei rooma; mõlemad on ainult robots.txt tunnused.

Kuidas AI-robotite külastusi loendada?

Kui iga rida jagada jutumärgi kohalt, jääb user agent 6. väljale. Ainult selle välja sobitamine väldib valetabamusi URL-idest, milles juhtub olema roboti nimi. See loendab külastused roboti kaupa nii praeguses logis kui ka roteeritud ja pakitud logides:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache'i puhul muuda teed, sageli /var/log/apache2/access.log* või /var/log/httpd/access_log*. zcat -f loeb nii tavalisi kui ka gzip-iga pakitud faile. Kui oodatud robot puudub, pole see iseenesest blokeeringu tõend: see ei pruukinud lihtsalt sinu logide perioodil külastada.

Mida iga robot tegelikult sai?

Külastustest olulisemad on vastused. Robot, mis saab igale päringule 403, on küll külastanud, kuid pole midagi lugenud. Need käsud näitavad olekukoode, enim küsitud teid ja seda, kas robot laadis robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Valdavalt 200-d on see, mida soovid. Palju 403- või 429-vastuseid viitab tulemüürireeglile või päringute piirangule. 5xx-vastused robots.txt-le on tõsised: RFC 9309 järgi peab robot, mis saab robots.txt-le serveri vea, eeldama, et kogu sait on keelatud.

Kui sinu sait on CDN-i taga, muutub kaks asja. Päringud, mille CDN blokeerib, ei jõua kunagi sinu lähteserverini, seega ei ilmu need selle logidesse üldse; vaata selle asemel CDN-i enda turvasündmusi. Ja kui sa külastaja IP-d ei taasta, logib lähteserver CDN-i aadressi. Näiteks Cloudflare saadab algse IP päises CF-Connecting-IP ja logib vaikimisi Cloudflare'i IP.

Kuidas kinnitada, et külastus tuli tõesti OpenAI-lt, Anthropicult või Perplexitylt?

Need pakkujad avaldavad oma agentide kasutatavad IP-vahemikud: OpenAI aadressidel openai.com/gptbot.json, openai.com/searchbot.json ja openai.com/chatgpt-user.json; Anthropic aadressil claude.com/crawling/bots.json; Perplexity aadressidel perplexity.ai/perplexitybot.json ja perplexity.ai/perplexity-user.json. Anthropic ütleb, et tema loendis olev lähte-IP näitab, et robot tuleb Anthropicult. Ükski neist kolmest ei dokumenteeri pöörd-DNS-i kontrolli, seega kasuta loendeid.

Failidel on ühine kuju, prefixes loend ipv4Prefix või ipv6Prefix kirjetega, seega kontrollib üks väike skript IP-d ükskõik millise neist vastu:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Et loetleda IP-d, mis väitsid end olevat teatud robot, käivita logi peal awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' ja suuna väljund läbi sort | uniq -c | sort -rn. Kontrolli igaüht vastava loendi järgi. Loendid muutuvad, seega laadi need iga kord värskelt, selle asemel et vana koopiat hoida.

Kuidas kinnitada Googlebot-i, Applebot-i ja CCBot-i?

Google, Apple ja Common Crawl dokumenteerivad pöörd- ja otse-DNS-i kontrolli. Leia IP hostinimi, kontrolli selle domeeni, seejärel otsi see hostinimi üles ja veendu, et see viitab tagasi samale IP-le:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google'i puhul peab hostinimi sõltuvalt robotist lõppema googlebot.com, google.com või googleusercontent.com-iga; Google avaldab ka oma vahemikud, Googleboti omad failis common-crawlers.json. Apple'i puhul peab see olema domeenis applebot.apple.com, vahemikud failis applebot.json. Common Crawli puhul peab see olema crawl.commoncrawl.org all ja Common Crawl hoiatab, et teised robotid kasutavad valelikult CCBot-i nime.

Millised näevad välja võltsitud AI-robotid?

Kraapijad laenavad sageli tuntud roboti user agent'it, et filtritest mööda pääseda. Tüüpilised tunnused:

Esineb ka vastupidine probleem: robotit, mis kasutab tavalise brauseri user agent'it, ei saa logirea põhjal üldse tuvastada. 2025. aastal teatas Cloudflare, et oli täheldanud Perplexityt roomamas deklareerimata, brauserilaadsete user agent'itega IP-delt väljaspool tema avaldatud vahemikke; Perplexity vaidlustas selle kirjelduse ja omistas osa liiklusest kolmanda osapoole teenusele. Logid üksi selliseid juhtumeid ei lahenda, mistõttu on avaldatud IP-vahemike järgi kinnitamine oluline mõlemas suunas.

Mida logid sulle öelda ei saa?

Logid näitavad, mis sinu serverini jõudis. Need ei näita, mida sinu CDN enne lähteserverit blokeeris, kas 200-ga vastanud leht sisaldas teksti või ainult skriptikesta ega seda, kas robot lubataks sisse, kui see täna tuleks. Need hõlmavad ka ainult perioodi, mida säilitad, ja vaiksetel saitidel käivad AI-robotid harva.

AISeeWhy kontol saad üles laadida combined-vormingus juurdepääsulogi (tavaline või .gz, kuni 50 MB); see analüüsitakse ja kustutatakse ning iga AI-roboti päringud loendatakse koos olekukoodidega ja kontrollitakse pakkujate avaldatud IP-vahemike järgi.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Miks ma ei näe oma logides Google-Extendedit?

Google ütleb, et Google-Extended-il pole eraldi user agent'i stringi. Roomamist teevad Google'i olemasolevad robotid ja tunnus juhib ainult seda, kuidas sisu tohib kasutada. Sama kehtib Applebot-Extended-i kohta, mis Apple'i sõnul ei rooma.

Kas võin oma logides user agent'it usaldada?

Ei. Igaüks võib saata mis tahes user agent'i. Käsitle seda väitena ja kinnita see pakkuja avaldatud IP-vahemikega või Google'i, Apple'i ja Common Crawli puhul pöörd- ja otse-DNS-i päringuga.

Minu logides pole ühtegi AI-roboti külastust. Kas olen blokeeritud?

Mitte tingimata. Robot ei pruukinud veel külastada, sinu CDN võis selle enne lähteserverit blokeerida või sinu logid salvestavad ainult CDN-i IP-aadresse. Vaata oma CDN-i turvasündmusi ja testi lehte iga roboti user agent'iga.

Kas ChatGPT-User-i liiklus on robot?

OpenAI ütleb, et ChatGPT-User-it kasutatakse teatud kasutajategevuste jaoks ja mitte veebi automaatseks roomamiseks. Selle külastused järgnevad tavaliselt sellele, kui keegi küsib ChatGPT-lt mõne lehe kohta, seega tuleb neid vähe.

Allikad

Veel artikleid