Kaip serverio žurnaluose rasti DI robotus

Paskelbta

Trumpas atsakymas

Prieigos žurnalo user agent lauke ieškokite žymenų, pvz., GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot ir PerplexityBot, tada pažiūrėkite, kokias būsenas jie gavo. Vien user agent nieko neįrodo, todėl kiekvieną šaltinio IP palyginkite su tiekėjo paskelbtu IP sąrašu, o Google ir Apple atveju – atvirkštiniu ir tiesioginiu DNS.

robots.txt nurodo, ko prašote robotų. Prieigos žurnalas rodo, kas iš tikrųjų įvyko: kurie DI robotai atėjo, kokių puslapių prašė ir ką atsakė jūsų serveris. Tai tiesioginis turimas įrodymas, ir jam reikia tik žurnalų failų bei terminalo. Toliau pateikti pavyzdžiai naudoja combined žurnalo formatą, kurį nginx ir Apache naudoja pagal numatytuosius nustatymus.

Šiame puslapyje
  1. Kaip DI roboto apsilankymas atrodo prieigos žurnale?
  2. Kaip suskaičiuoti DI robotų apsilankymus?
  3. Ką kiekvienas robotas iš tikrųjų gavo?
  4. Kaip patvirtinti, kad apsilankymas tikrai atėjo iš OpenAI, Anthropic ar Perplexity?
  5. Kaip patvirtinti Googlebot, Applebot ir CCBot?
  6. Kaip atrodo netikri DI robotai?
  7. Ko žurnalai negali pasakyti?

Kaip DI roboto apsilankymas atrodo prieigos žurnale?

Combined formate kiekvienoje eilutėje yra kliento IP, laikas, užklausos eilutė, būsenos kodas, atsakymo dydis, referrer ir user agent. nginx jį apibrėžia kaip $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", o Apache formatas combined turi tuos pačius laukus. OpenAI mokymo roboto apsilankymas atrodo taip:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Ieškoti reikia tiekėjų dokumentuotų žymenų: GPTBot, OAI-SearchBot ir ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot ir Claude-User (Anthropic); PerplexityBot ir Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer ir CCBot. Google-Extended ar Applebot-Extended niekada nepamatysite. Google teigia, kad Google-Extended neturi atskiros user agent eilutės, o Apple teigia, kad Applebot-Extended nieko nenuskaito; abu yra tik robots.txt žymenys.

Kaip suskaičiuoti DI robotų apsilankymus?

Padalijus kiekvieną eilutę pagal dvigubos kabutės simbolį, user agent atsiduria 6 lauke. Tikrinant tik šį lauką išvengiama klaidingų atitikmenų iš URL, kuriuose atsitiktinai yra roboto pavadinimas. Ši komanda suskaičiuoja kiekvieno roboto apsilankymus dabartiniame žurnale ir rotuotuose, suspaustuose žurnaluose:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache atveju pakeiskite kelią, dažnai /var/log/apache2/access.log* arba /var/log/httpd/access_log*. zcat -f skaito ir paprastus, ir gzip failus. Jei laukiamo roboto nėra, tai savaime neįrodo blokavimo: jis galėjo tiesiog neapsilankyti per jūsų žurnalų apimamą laikotarpį.

Ką kiekvienas robotas iš tikrųjų gavo?

Apsilankymai svarbūs mažiau nei atsakymai. Robotas, kuris į kiekvieną užklausą gauna 403, apsilankė, bet nieko neperskaitė. Šios komandos rodo būsenos kodus, dažniausiai prašytus kelius ir tai, ar robotas atsisiuntė robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Pageidautina, kad dauguma būtų 200. Daug 403 ar 429 rodo ugniasienės taisyklę ar užklausų ribojimą. 5xx atsakymai į robots.txt yra rimta problema: pagal RFC 9309 robotas, gavęs serverio klaidą dėl robots.txt, turi laikyti visą svetainę uždrausta.

Jei jūsų svetainė yra už CDN, keičiasi du dalykai. CDN užblokuotos užklausos niekada nepasiekia jūsų pagrindinio serverio, todėl jo žurnaluose jų visai nėra; vietoj to patikrinkite paties CDN saugumo įvykius. Be to, jei neatkuriate lankytojo IP, pagrindinis serveris įrašo CDN adresą. Pavyzdžiui, Cloudflare originalų IP siunčia antraštėje CF-Connecting-IP, o pagal numatytuosius nustatymus žurnale įrašomas Cloudflare IP.

Kaip patvirtinti, kad apsilankymas tikrai atėjo iš OpenAI, Anthropic ar Perplexity?

Šie tiekėjai skelbia savo agentų naudojamus IP intervalus: OpenAI – openai.com/gptbot.json, openai.com/searchbot.json ir openai.com/chatgpt-user.json; Anthropic – claude.com/crawling/bots.json; Perplexity – perplexity.ai/perplexitybot.json ir perplexity.ai/perplexity-user.json. Anthropic teigia, kad šaltinio IP iš jos sąrašo rodo, jog robotas ateina iš Anthropic. Nė vienas iš šių trijų nedokumentuoja patvirtinimo atvirkštiniu DNS, todėl naudokite sąrašus.

Failų struktūra vienoda – prefixes sąrašas su ipv4Prefix arba ipv6Prefix įrašais, todėl vienas nedidelis skriptas patikrina IP pagal bet kurį iš jų:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Norėdami išvardyti IP, kurie prisistatė tam tikru robotu, paleiskite awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' žurnalui ir perduokite rezultatą per sort | uniq -c | sort -rn. Kiekvieną patikrinkite pagal atitinkamą sąrašą. Sąrašai keičiasi, todėl atsisiųskite juos iš naujo, o ne laikykite seną kopiją.

Kaip patvirtinti Googlebot, Applebot ir CCBot?

Google, Apple ir Common Crawl dokumentuoja atvirkštinio ir tiesioginio DNS patikrinimą. Suraskite IP pagrindinio kompiuterio vardą, patikrinkite jo domeną, tada suraskite to vardo IP ir įsitikinkite, kad jis rodo atgal į tą patį IP:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google atveju vardas turi baigtis googlebot.com, google.com arba googleusercontent.com, priklausomai nuo roboto; Google taip pat skelbia savo intervalus, Googlebot – faile common-crawlers.json. Apple atveju jis turi būti applebot.apple.com, o intervalai – applebot.json. Common Crawl atveju jis turi būti po crawl.commoncrawl.org, ir Common Crawl įspėja, kad kiti robotai neteisėtai prisistato CCBot vardu.

Kaip atrodo netikri DI robotai?

Duomenų rinkimo įrankiai dažnai pasiskolina žinomo roboto user agent, kad apeitų filtrus. Tipiniai požymiai:

Yra ir atvirkštinė problema: roboto, naudojančio įprastos naršyklės user agent, iš žurnalo eilutės išvis neįmanoma atpažinti. 2025 m. Cloudflare pranešė pastebėjusi, kad Perplexity nuskaito su nedeklaruotais, naršyklę primenančiais user agent iš IP, nepatenkančių į jos paskelbtus intervalus; Perplexity šiam aprašymui prieštaravo ir dalį srauto priskyrė trečiosios šalies paslaugai. Vien žurnalai tokių atvejų neišsprendžia, todėl patvirtinimas pagal paskelbtus IP intervalus svarbus abiem kryptimis.

Ko žurnalai negali pasakyti?

Žurnalai rodo, kas pasiekė jūsų serverį. Jie nerodo, ką jūsų CDN užblokavo prieš pagrindinį serverį, ar puslapis, grąžinęs 200, turėjo tekstą ar tik skripto apvalkalą, ir ar robotas būtų įleistas, jei ateitų šiandien. Be to, jie apima tik saugomą laikotarpį, o mažai lankomose svetainėse DI robotai gali pasirodyti retai.

AISeeWhy paskyroje galite įkelti combined formato prieigos žurnalą (paprastą arba .gz, iki 50 MB); jis išanalizuojamas ir ištrinamas, o kiekvieno DI roboto užklausos suskaičiuojamos su jų būsenos kodais ir patikrinamos pagal tiekėjų skelbiamus IP intervalus.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Kodėl savo žurnaluose nematau Google-Extended?

Google teigia, kad Google-Extended neturi atskiros user agent eilutės. Nuskaito esami Google robotai, o žymuo valdo tik tai, kaip turinys gali būti naudojamas. Tas pats galioja Applebot-Extended, kuris, Apple teigimu, nieko nenuskaito.

Ar galiu pasitikėti user agent savo žurnaluose?

Ne. Bet kas gali siųsti bet kokį user agent. Laikykite jį teiginiu ir patvirtinkite pagal tiekėjo paskelbtus IP intervalus arba, Google, Apple ir Common Crawl atveju, atvirkštine ir tiesiogine DNS paieška.

Mano žurnaluose nėra DI robotų apsilankymų. Ar esu užblokuotas?

Nebūtinai. Robotas galėjo dar neapsilankyti, jūsų CDN galėjo jį užblokuoti prieš pagrindinį serverį arba jūsų žurnalai įrašo tik CDN IP adresus. Patikrinkite CDN saugumo įvykius ir išbandykite puslapį su kiekvieno roboto user agent.

Ar ChatGPT-User srautas yra robotas?

OpenAI teigia, kad ChatGPT-User naudojamas tam tikriems naudotojų veiksmams ir nenaudojamas automatiniam interneto nuskaitymui. Jo apsilankymai paprastai seka po to, kai žmogus paklausia ChatGPT apie puslapį, todėl jų būna nedaug.

Šaltiniai

Daugiau straipsnių