Kako u zapisnicima poslužitelja provjeriti AI crawlere

Objavljeno

Kratki odgovor

U polju user agenta u zapisniku pristupa potražite tokene kao što su GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot i PerplexityBot, a zatim pogledajte statusne kodove koje su dobili. Sam user agent ništa ne dokazuje, pa svaku izvornu IP adresu usporedite s popisom IP adresa koji objavljuje dobavljač, a za Google i Apple provjerite je obrnutim i izravnim DNS upitom.

robots.txt govori što tražite od crawlera. Vaš zapisnik pristupa pokazuje što se stvarno dogodilo: koji su AI crawleri došli, koje su stranice zatražili i što je vaš poslužitelj odgovorio. To je najizravniji dokaz koji imate, a za njega vam trebaju samo datoteke zapisnika i terminal. Primjeri u nastavku koriste kombinirani format zapisnika (combined) koji nginx i Apache koriste prema zadanim postavkama.

Na ovoj stranici
  1. Kako posjet AI crawlera izgleda u zapisniku pristupa?
  2. Kako prebrojati posjete AI crawlera?
  3. Što je svaki crawler stvarno dobio?
  4. Kako provjeriti je li posjet stvarno došao od OpenAI-ja, Anthropica ili Perplexityja?
  5. Kako provjeriti Googlebot, Applebot i CCBot?
  6. Kako izgledaju lažni AI crawleri?
  7. Što vam zapisnici ne mogu reći?

Kako posjet AI crawlera izgleda u zapisniku pristupa?

U kombiniranom formatu svaki redak sadrži IP adresu klijenta, vrijeme, redak zahtjeva, statusni kod, veličinu odgovora, referrer i user agent. nginx ga definira kao $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", a Apacheov format combined ima ista polja. Posjet OpenAI-jeva crawlera za treniranje izgleda ovako:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Tokeni koje treba tražiti oni su koje dokumentiraju dobavljači: GPTBot, OAI-SearchBot i ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot i Claude-User (Anthropic); PerplexityBot i Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer i CCBot. Google-Extended ni Applebot-Extended nikad nećete vidjeti. Google navodi da Google-Extended nema zaseban niz user agenta, a Apple navodi da Applebot-Extended ne indeksira; oba su samo tokeni u robots.txt.

Kako prebrojati posjete AI crawlera?

Ako svaki redak podijelite po znaku dvostrukog navodnika, user agent završava u polju 6. Podudaranje samo s tim poljem izbjegava lažne pogotke iz URL-ova koji slučajno sadrže ime bota. Ovo broji posjete po crawleru u trenutačnom zapisniku i u rotiranim, komprimiranim zapisnicima:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Za Apache prilagodite putanju, često /var/log/apache2/access.log* ili /var/log/httpd/access_log*. zcat -f čita i obične i gzip datoteke. Ako crawler kojeg očekujete nedostaje, to samo po sebi nije dokaz blokade: možda jednostavno nije posjetio stranicu u razdoblju koje vaši zapisnici obuhvaćaju.

Što je svaki crawler stvarno dobio?

Posjeti su manje važni od odgovora. Crawler koji na svaki zahtjev dobije 403 posjetio je stranicu, ali ništa nije pročitao. Ove naredbe prikazuju statusne kodove, najčešće tražene putanje i je li crawler dohvatio robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Uglavnom statusi 200 ono su što želite. Mnogo kodova 403 ili 429 upućuje na pravilo vatrozida ili ograničenje broja zahtjeva. Odgovori 5xx na robots.txt ozbiljni su: prema RFC 9309 crawler koji za robots.txt dobije pogrešku poslužitelja mora pretpostaviti da je cijela web-stranica zabranjena.

Ako je vaša web-stranica iza CDN-a, mijenjaju se dvije stvari. Zahtjevi koje CDN blokira nikad ne stignu do vašeg izvornog poslužitelja, pa se u njegovim zapisnicima uopće ne pojavljuju; umjesto toga provjerite sigurnosne događaje samog CDN-a. Osim toga, ako ne vratite IP adresu posjetitelja, izvorni poslužitelj bilježi adresu CDN-a. Cloudflare, na primjer, šalje izvornu IP adresu u zaglavlju CF-Connecting-IP, a prema zadanim postavkama bilježi se Cloudflareova IP adresa.

Kako provjeriti je li posjet stvarno došao od OpenAI-ja, Anthropica ili Perplexityja?

Ti dobavljači objavljuju IP raspone koje koriste njihovi agenti: OpenAI na openai.com/gptbot.json, openai.com/searchbot.json i openai.com/chatgpt-user.json; Anthropic na claude.com/crawling/bots.json; Perplexity na perplexity.ai/perplexitybot.json i perplexity.ai/perplexity-user.json. Anthropic navodi da izvorna IP adresa s njegova popisa znači da crawler dolazi od Anthropica. Nijedan od ta tri dobavljača ne dokumentira provjeru obrnutim DNS-om, pa koristite popise.

Datoteke imaju isti oblik, popis prefixes sa stavkama ipv4Prefix ili ipv6Prefix, pa jedna mala skripta može provjeriti IP adresu prema bilo kojoj od njih:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Da biste popisali IP adrese koje su se predstavile kao određeni crawler, pokrenite awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' nad zapisnikom i proslijedite izlaz kroz sort | uniq -c | sort -rn. Svaku usporedite s odgovarajućim popisom. Popisi se mijenjaju, pa ih svaki put preuzmite iznova umjesto da čuvate staru kopiju.

Kako provjeriti Googlebot, Applebot i CCBot?

Google, Apple i Common Crawl dokumentiraju provjeru obrnutim i izravnim DNS upitom. Potražite naziv hosta za IP adresu, provjerite njegovu domenu, a zatim potražite taj naziv hosta i potvrdite da upućuje natrag na istu IP adresu:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Za Google naziv hosta mora završavati na googlebot.com, google.com ili googleusercontent.com, ovisno o crawleru; Google objavljuje i svoje raspone, a Googlebot je u common-crawlers.json. Za Apple mora biti u applebot.apple.com, a rasponi su u applebot.json. Za Common Crawl mora biti pod crawl.commoncrawl.org, a Common Crawl upozorava da se drugi crawleri lažno predstavljaju imenom CCBot.

Kako izgledaju lažni AI crawleri?

Scraperi često posuđuju user agent poznatog crawlera kako bi prošli filtre. Tipični znakovi:

Postoji i obrnut problem: crawler koji koristi običan user agent preglednika uopće se ne može prepoznati iz retka zapisnika. Cloudflare je 2025. objavio da je uočio kako Perplexity indeksira s neprijavljenim user agentima nalik pregledniku s IP adresa izvan svojih objavljenih raspona; Perplexity je osporio taj prikaz i dio prometa pripisao usluzi treće strane. Sami zapisnici ne mogu razriješiti takve slučajeve, i zato je provjera prema objavljenim IP rasponima važna u oba smjera.

Što vam zapisnici ne mogu reći?

Zapisnici pokazuju što je stiglo do vašeg poslužitelja. Ne pokazuju što je vaš CDN blokirao prije izvornog poslužitelja, je li stranica koja je vratila 200 sadržavala tekst ili samo ljusku sa skriptama, ni bi li crawler bio propušten da dođe danas. Obuhvaćaju i samo razdoblje koje čuvate, a mirne web-stranice AI crawlere možda viđaju rijetko.

U računu AISeeWhy možete prenijeti zapisnik pristupa u kombiniranom formatu (običan ili .gz, do 50 MB); analizira se i zatim briše, a zahtjevi svakog AI crawlera broje se zajedno sa statusnim kodovima i provjeravaju prema IP rasponima koje objavljuju dobavljači.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Zašto u svojim zapisnicima ne vidim Google-Extended?

Google navodi da Google-Extended nema zaseban niz user agenta. Indeksiranje obavljaju postojeći Googleovi crawleri, a token samo određuje kako se sadržaj smije koristiti. Isto vrijedi za Applebot-Extended, za koji Apple navodi da ne indeksira.

Mogu li vjerovati user agentu u svojim zapisnicima?

Ne možete. Svatko može poslati bilo koji user agent. Smatrajte ga tvrdnjom i potvrdite ga objavljenim IP rasponima dobavljača ili, za Google, Apple i Common Crawl, obrnutim i izravnim DNS upitom.

Moji zapisnici ne pokazuju nijedan posjet AI crawlera. Jesam li blokiran?

Ne nužno. Crawler možda još nije došao, vaš ga je CDN možda blokirao prije izvornog poslužitelja ili vaši zapisnici možda bilježe samo IP adrese CDN-a. Provjerite sigurnosne događaje svog CDN-a i testirajte stranicu s user agentom svakog crawlera.

Je li promet ChatGPT-User crawler?

OpenAI navodi da se ChatGPT-User koristi za određene radnje korisnika i da se ne koristi za automatsko indeksiranje weba. Njegovi posjeti obično slijede nakon što netko ChatGPT pita o nekoj stranici, pa dolaze u malom broju.

Izvori

Još članaka