Kā pārbaudīt servera žurnālos MI rāpuļprogrammas

Publicēts

Īsa atbilde

Meklējiet piekļuves žurnāla user-agent laukā marķierus, piemēram, GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot un PerplexityBot, pēc tam apskatiet, kādus statusa kodus tās saņēma. User-agent pats par sevi neko nepierāda, tāpēc pārbaudiet katru avota IP pret piegādātāja publicēto IP sarakstu vai, Google un Apple gadījumā, ar reverso un tiešo DNS.

robots.txt saka, ko jūs lūdzat rāpuļprogrammām darīt. Piekļuves žurnāls parāda, kas notika patiesībā: kuras MI rāpuļprogrammas atnāca, kuras lapas tās pieprasīja un ko atbildēja jūsu serveris. Tas ir tiešākais pierādījums, kas jums ir, un tam vajag tikai žurnālu failus un termināli. Tālāk piemēros izmantots combined žurnāla formāts, ko nginx un Apache izmanto pēc noklusējuma.

Šajā lapā
  1. Kā MI rāpuļprogrammas apmeklējums izskatās piekļuves žurnālā?
  2. Kā saskaitīt MI rāpuļprogrammu apmeklējumus?
  3. Ko katra rāpuļprogramma patiesībā saņēma?
  4. Kā pārbaudīt, vai apmeklējums patiešām nāca no OpenAI, Anthropic vai Perplexity?
  5. Kā verificēt Googlebot, Applebot un CCBot?
  6. Kā izskatās viltotas MI rāpuļprogrammas?
  7. Ko žurnāli nevar pateikt?

Kā MI rāpuļprogrammas apmeklējums izskatās piekļuves žurnālā?

Formātā combined katrā rindā ir klienta IP, laiks, pieprasījuma rinda, statusa kods, atbildes izmērs, atsauce (referrer) un user-agent. nginx to definē kā $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", un Apache formātam combined ir tie paši lauki. OpenAI apmācības rāpuļprogrammas apmeklējums izskatās šādi:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Meklējamie marķieri ir tie, ko dokumentē piegādātāji: GPTBot, OAI-SearchBot un ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot un Claude-User (Anthropic); PerplexityBot un Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer un CCBot. Google-Extended vai Applebot-Extended jūs nekad neredzēsiet. Google norāda, ka Google-Extended nav atsevišķas user-agent virknes, un Apple norāda, ka Applebot-Extended neapstaigā lapas; abi ir tikai robots.txt marķieri.

Kā saskaitīt MI rāpuļprogrammu apmeklējumus?

Sadalot katru rindu pēc dubultpēdiņas rakstzīmes, user-agent nonāk 6. laukā. Pārbaudot tikai šo lauku, izvairās no viltus trāpījumiem URL, kuros nejauši ir robota nosaukums. Šī komanda saskaita apmeklējumus katrai rāpuļprogrammai pašreizējā žurnālā un rotētajos, saspiestajos žurnālos:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache gadījumā pielāgojiet ceļu, bieži tas ir /var/log/apache2/access.log* vai /var/log/httpd/access_log*. zcat -f lasa gan parastus, gan gzip failus. Ja kādas gaidītas rāpuļprogrammas nav, tas vien nepierāda bloķējumu: iespējams, tā vienkārši nav apmeklējusi vietni žurnālu aptvertajā periodā.

Ko katra rāpuļprogramma patiesībā saņēma?

Apmeklējumi ir mazāk svarīgi nekā atbildes. Rāpuļprogramma, kas uz katru pieprasījumu saņem 403, ir apmeklējusi vietni, bet neko nav nolasījusi. Šīs komandas parāda statusa kodus, visvairāk pieprasītos ceļus un to, vai rāpuļprogramma ielādēja robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Galvenokārt 200 — tas ir tas, ko vēlaties. Daudz 403 vai 429 norāda uz ugunsmūra noteikumu vai pieprasījumu ierobežojumu. 5xx atbildes uz robots.txt ir nopietnas: saskaņā ar RFC 9309 rāpuļprogrammai, kas robots.txt vietā saņem servera kļūdu, jāpieņem, ka visa vietne ir aizliegta.

Ja jūsu vietne atrodas aiz CDN, mainās divas lietas. Pieprasījumi, ko CDN bloķē, nekad nesasniedz jūsu izcelsmes serveri, tāpēc tie tā žurnālos vispār neparādās; tā vietā pārbaudiet paša CDN drošības notikumus. Un, ja neatjaunojat apmeklētāja IP, izcelsmes serveris žurnālā ieraksta CDN adresi. Piemēram, Cloudflare sākotnējo IP sūta galvenē CF-Connecting-IP un pēc noklusējuma žurnālā redzama Cloudflare IP.

Kā pārbaudīt, vai apmeklējums patiešām nāca no OpenAI, Anthropic vai Perplexity?

Šie piegādātāji publicē savu aģentu IP diapazonus: OpenAI — openai.com/gptbot.json, openai.com/searchbot.json un openai.com/chatgpt-user.json; Anthropic — claude.com/crawling/bots.json; Perplexity — perplexity.ai/perplexitybot.json un perplexity.ai/perplexity-user.json. Anthropic norāda, ka avota IP tās sarakstā liecina, ka rāpuļprogramma nāk no Anthropic. Neviens no šiem trim nedokumentē reversā DNS verifikāciju, tāpēc izmantojiet sarakstus.

Failiem ir viena forma — saraksts prefixes ar ierakstiem ipv4Prefix vai ipv6Prefix, tāpēc viens neliels skripts pārbauda IP pret jebkuru no tiem:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Lai uzskaitītu IP, kas uzdevās par konkrētu rāpuļprogrammu, palaidiet žurnālam awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' un nododiet rezultātu caur sort | uniq -c | sort -rn. Pārbaudiet katru pret atbilstošo sarakstu. Saraksti mainās, tāpēc ielādējiet tos no jauna, nevis glabājiet vecu kopiju.

Kā verificēt Googlebot, Applebot un CCBot?

Google, Apple un Common Crawl dokumentē reverso un tiešo DNS pārbaudi. Uzziniet IP resursdatora nosaukumu, pārbaudiet tā domēnu, pēc tam uzziniet šī nosaukuma adresi un pārliecinieties, ka tā norāda atpakaļ uz to pašu IP:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google gadījumā resursdatora nosaukumam jābeidzas ar googlebot.com, google.com vai googleusercontent.com atkarībā no rāpuļprogrammas; Google publicē arī savus diapazonus, Googlebot — failā common-crawlers.json. Apple gadījumā tam jābūt domēnā applebot.apple.com, diapazoni ir failā applebot.json. Common Crawl gadījumā tam jābūt zem crawl.commoncrawl.org, un Common Crawl brīdina, ka citas rāpuļprogrammas nepatiesi izmanto nosaukumu CCBot.

Kā izskatās viltotas MI rāpuļprogrammas?

Datu skrāpētāji bieži aizņemas zināmas rāpuļprogrammas user-agent, lai tiktu garām filtriem. Tipiskas pazīmes:

Pastāv arī pretēja problēma: rāpuļprogrammu, kas izmanto parasta pārlūka user-agent, pēc žurnāla rindas vispār nevar identificēt. 2025. gadā Cloudflare paziņoja, ka novērojusi, kā Perplexity apstaigā lapas ar nedeklarētiem, pārlūkam līdzīgiem user-agent no IP ārpus tās publicētajiem diapazoniem; Perplexity šo versiju apstrīdēja un daļu datplūsmas piedēvēja trešās puses pakalpojumam. Tikai ar žurnāliem šādus gadījumus nevar atrisināt, tāpēc verifikācija pēc publicētajiem IP diapazoniem ir svarīga abos virzienos.

Ko žurnāli nevar pateikt?

Žurnāli rāda, kas sasniedza jūsu serveri. Tie nerāda, ko jūsu CDN bloķēja pirms izcelsmes servera, vai lapā, kas atgrieza 200, bija teksts vai tikai skripta čaula, un vai rāpuļprogramma tiktu ielaista, ja tā atnāktu šodien. Tie arī aptver tikai glabāto periodu, un mazāk apmeklētās vietnēs MI rāpuļprogrammas var parādīties reti.

AISeeWhy kontā varat augšupielādēt piekļuves žurnālu combined formātā (parastu vai .gz, līdz 50 MB); tas tiek analizēts un izdzēsts, un katras MI rāpuļprogrammas pieprasījumi tiek saskaitīti kopā ar statusa kodiem un pārbaudīti pret piegādātāju publicētajiem IP diapazoniem.

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Kāpēc es neredzu Google-Extended savos žurnālos?

Google norāda, ka Google-Extended nav atsevišķas user-agent virknes. Apstaigāšanu veic esošās Google rāpuļprogrammas, un marķieris tikai kontrolē, kā saturu drīkst izmantot. Tas pats attiecas uz Applebot-Extended, kas, pēc Apple teiktā, neapstaigā lapas.

Vai varu uzticēties user-agent savos žurnālos?

Nē. Ikviens var nosūtīt jebkuru user-agent. Uztveriet to kā apgalvojumu un apstipriniet ar piegādātāja publicētajiem IP diapazoniem vai, Google, Apple un Common Crawl gadījumā, ar reverso un tiešo DNS pārbaudi.

Žurnālos nav neviena MI rāpuļprogrammas apmeklējuma. Vai esmu bloķēts?

Ne obligāti. Rāpuļprogramma, iespējams, vēl nav atnākusi, jūsu CDN to varēja bloķēt pirms izcelsmes servera, vai jūsu žurnāli ieraksta tikai CDN IP adreses. Pārbaudiet CDN drošības notikumus un pārbaudiet lapu ar katras rāpuļprogrammas user-agent.

Vai ChatGPT-User datplūsma ir rāpuļprogramma?

OpenAI norāda, ka ChatGPT-User tiek izmantots noteiktām lietotāju darbībām un netiek izmantots automātiskai tīmekļa apstaigāšanai. Tā apmeklējumi parasti seko tam, ka cilvēks jautā ChatGPT par kādu lapu, tāpēc to ir maz.

Avoti

Citi raksti