Kako v dnevnikih strežnika preveriti pajke UI
V polju user agent v dnevniku dostopov poiščite žetone, kot so GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot in PerplexityBot, nato poglejte, katere statusne kode so dobili. Sam user agent ničesar ne dokazuje, zato vsak izvorni naslov IP preverite na seznamu IP, ki ga objavlja ponudnik, za Google in Apple pa z obratnim in neposrednim poizvedovanjem DNS.
Robots.txt pove, kaj od pajkov zahtevate. Dnevnik dostopov pokaže, kaj se je dejansko zgodilo: kateri pajki UI so prišli, katere strani so zahtevali in kaj jim je odgovoril vaš strežnik. To je najbolj neposreden dokaz, ki ga imate, in zanj potrebujete samo dnevniške datoteke in terminal. Spodnji primeri uporabljajo obliko combined, ki jo nginx in Apache uporabljata privzeto.
Na tej strani
- Kako je obisk pajka UI videti v dnevniku dostopov?
- Kako preštejem obiske pajkov UI?
- Kaj je posamezni pajek dejansko dobil?
- Kako preverim, ali je obisk res prišel od OpenAI, Anthropica ali Perplexityja?
- Kako preverim Googlebot, Applebot in CCBot?
- Kako so videti lažni pajki UI?
- Česa vam dnevniki ne morejo povedati?
Kako je obisk pajka UI videti v dnevniku dostopov?
V obliki combined vsaka vrstica vsebuje naslov IP odjemalca, čas, vrstico zahteve, statusno kodo, velikost odgovora, napotitelja in user agent. nginx jo definira kot $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", Apachejeva oblika combined pa ima enaka polja. Obisk OpenAI-jevega pajka za učenje je videti tako:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" Iskati morate žetone, ki jih ponudniki dokumentirajo: GPTBot, OAI-SearchBot in ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot in Claude-User (Anthropic); PerplexityBot in Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer in CCBot. Google-Extended ali Applebot-Extended ne boste nikoli videli. Google pravi, da Google-Extended nima ločenega niza user agent, Apple pa, da Applebot-Extended ne pajka; oba sta samo žetona robots.txt.
Kako preštejem obiske pajkov UI?
Če vsako vrstico razdelite pri znaku za dvojni narekovaj, je user agent v polju 6. Ujemanje samo s tem poljem prepreči lažne zadetke iz URL-jev, ki slučajno vsebujejo ime bota. Ta ukaz prešteje obiske po pajkih v trenutnem dnevniku ter v zarotiranih, stisnjenih dnevnikih:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Za Apache prilagodite pot, pogosto /var/log/apache2/access.log* ali /var/log/httpd/access_log*. zcat -f bere tako navadne kot stisnjene datoteke gzip. Če pajka, ki ga pričakujete, ni, to samo po sebi ni dokaz blokade: morda v obdobju, ki ga pokrivajo vaši dnevniki, preprosto ni prišel.
Kaj je posamezni pajek dejansko dobil?
Obiski so manj pomembni od odgovorov. Pajek, ki na vsako zahtevo dobi 403, je prišel, a ni prebral ničesar. Ti ukazi pokažejo statusne kode, najpogosteje zahtevane poti in to, ali je pajek prenesel robots.txt:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c Želite si predvsem odgovore 200. Veliko odgovorov 403 ali 429 kaže na pravilo požarnega zidu ali omejitev zahtev. Odgovori 5xx za robots.txt so resni: po RFC 9309 mora pajek, ki za robots.txt dobi napako strežnika, privzeti, da je prepovedano celotno mesto.
Če je vaše mesto za CDN, se spremenita dve stvari. Zahteve, ki jih CDN blokira, nikoli ne dosežejo izvornega strežnika, zato se v njegovih dnevnikih sploh ne pojavijo; namesto tega preverite varnostne dogodke samega CDN. Če naslova IP obiskovalca ne obnovite, izvorni strežnik zapiše naslov CDN. Cloudflare na primer izvirni IP pošlje v glavi CF-Connecting-IP, privzeto pa se zapiše IP Cloudflara.
Kako preverim, ali je obisk res prišel od OpenAI, Anthropica ali Perplexityja?
Ti ponudniki objavljajo obsege IP, ki jih uporabljajo njihovi agenti: OpenAI na openai.com/gptbot.json, openai.com/searchbot.json in openai.com/chatgpt-user.json; Anthropic na claude.com/crawling/bots.json; Perplexity na perplexity.ai/perplexitybot.json in perplexity.ai/perplexity-user.json. Anthropic pravi, da izvorni IP z njegovega seznama pomeni, da pajek prihaja od Anthropica. Nobeden od teh treh ne dokumentira preverjanja z obratnim DNS, zato uporabite sezname.
Datoteke imajo enako obliko, seznam prefixes z vnosi ipv4Prefix ali ipv6Prefix, zato en majhen skript preveri IP na katerem koli od njih:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF Za seznam naslovov IP, ki so se predstavljali kot določen pajek, na dnevniku zaženite awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' in izpis speljite skozi sort | uniq -c | sort -rn. Vsakega preverite na ustreznem seznamu. Seznami se spreminjajo, zato jih vsakič prenesite na novo, namesto da hranite staro kopijo.
Kako preverim Googlebot, Applebot in CCBot?
Google, Apple in Common Crawl dokumentirajo preverjanje z obratnim in neposrednim DNS. Poiščite ime gostitelja za IP, preverite njegovo domeno, nato poiščite to ime gostitelja in potrdite, da kaže nazaj na isti IP:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Za Google se mora ime gostitelja končati z googlebot.com, google.com ali googleusercontent.com, odvisno od pajka; Google objavlja tudi svoje obsege, Googlebot v common-crawlers.json. Za Apple mora biti v applebot.apple.com, obsegi pa so v applebot.json. Za Common Crawl mora biti pod crawl.commoncrawl.org, Common Crawl pa opozarja, da si ime CCBot lažno prilaščajo tudi drugi pajki.
Kako so videti lažni pajki UI?
Strgalniki pogosto prevzamejo user agent znanega pajka, da bi se izognili filtrom. Tipični znaki:
- User agent navaja pajka, IP pa ni na objavljenem seznamu tega ponudnika ali se njegov obratni DNS ne ujema.
- Vir je stanovanjsko omrežje ali ponudnik oblaka, ki ga ponudnik pajka ne navaja.
- Odjemalec nikoli ne zahteva robots.txt ali zahteva poti, ki jih robots.txt temu pajku prepoveduje.
- Hitrost ali vzorec zahtev se močno razlikuje od preverjenega prometa pod istim imenom, na primer izbruhi zahtev na končne točke za iskanje ali prijavo.
Obstaja tudi obratna težava: pajka, ki uporablja navaden user agent brskalnika, iz vrstice v dnevniku sploh ni mogoče prepoznati. Cloudflare je leta 2025 sporočil, da je opazil, kako Perplexity pajka z neprijavljenimi user agenti, podobnimi brskalnikom, z naslovov IP zunaj objavljenih obsegov; Perplexity je ta opis zavrnil in del prometa pripisal storitvi tretje osebe. Takih primerov dnevniki sami ne morejo razrešiti, zato je preverjanje po objavljenih obsegih IP pomembno v obe smeri.
Česa vam dnevniki ne morejo povedati?
Dnevniki pokažejo, kaj je doseglo vaš strežnik. Ne pokažejo, kaj je vaš CDN blokiral pred izvornim strežnikom, ali je stran, ki je vrnila 200, vsebovala besedilo ali samo lupino s skripti, in ali bi bil pajek dovoljen, če bi prišel danes. Pokrivajo tudi samo obdobje, ki ga hranite, manj obiskana mesta pa pajke UI morda vidijo redko.
V računu AISeeWhy lahko naložite dnevnik dostopov v obliki combined (navaden ali .gz, do 50 MB); analiziramo ga in zavržemo, zahteve vsakega pajka UI pa preštejemo s statusnimi kodami in preverimo na obsegih IP, ki jih objavljajo ponudniki.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Zakaj v dnevnikih ne vidim Google-Extended?
Google pravi, da Google-Extended nima ločenega niza user agent. Pajkanje opravljajo Googlovi obstoječi pajki, žeton pa nadzoruje samo, kako se sme vsebina uporabljati. Enako velja za Applebot-Extended, ki po Applovih besedah ne pajka.
Ali lahko zaupam user agentu v dnevnikih?
Ne. Vsakdo lahko pošlje kateri koli user agent. Obravnavajte ga kot trditev in ga potrdite z obsegi IP, ki jih objavlja ponudnik, za Google, Apple in Common Crawl pa z obratnim in neposrednim poizvedovanjem DNS.
V dnevnikih ni obiskov pajkov UI. Sem blokiran?
Ne nujno. Pajek morda še ni prišel, vaš CDN ga je morda blokiral pred izvornim strežnikom ali pa vaši dnevniki zapisujejo samo naslove IP CDN. Preverite varnostne dogodke CDN in stran preizkusite z user agentom vsakega pajka.
Ali je promet ChatGPT-User pajek?
OpenAI pravi, da se ChatGPT-User uporablja za določena dejanja uporabnikov in ne za samodejno pajkanje spleta. Njegovi obiski običajno sledijo temu, da nekdo ChatGPT vpraša o strani, zato jih je malo.
Viri
- nginx: ngx_http_log_module (oblika dnevnika combined)
- Apache HTTP Server 2.4: dnevniške datoteke
- OpenAI: pregled pajkov OpenAI
- Anthropic: Ali Anthropic pajka podatke s spleta in kako lahko lastniki spletnih mest pajka blokirajo?
- Perplexity: pajki Perplexity
- Google: preverjanje Googlovih pajkov in pridobivalnikov
- Google: običajni pajki, vključno z Google-Extended
- Apple: o Applebotu
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: obnovitev izvirnih naslovov IP obiskovalcev
- Cloudflare: Perplexity uporablja prikrite, neprijavljene pajke, da bi se izognil prepovedim pajkanja
- Perplexity: Agenti ali boti? Kako razumeti UI na odprtem spletu