Com buscar rastrejadors d'IA als registres del servidor

Publicat

Resposta breu

Busca al camp del user agent del registre d'accés tokens com GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot i PerplexityBot, i després mira quins codis d'estat han rebut. Un user agent sol no demostra res, així que comprova cada IP d'origen amb la llista d'IP que publica el proveïdor o, per a Google i Apple, amb una consulta DNS inversa i directa.

El robots.txt diu què demanes als rastrejadors que facin. El registre d'accés mostra què ha passat de veritat: quins rastrejadors d'IA han vingut, quines pàgines han demanat i què ha respost el teu servidor. És la prova més directa que tens, i no necessita res més que els fitxers de registre i un terminal. Els exemples següents fan servir el format de registre combinat que nginx i Apache fan servir per defecte.

En aquesta pàgina
  1. Com es veu la visita d'un rastrejador d'IA en un registre d'accés?
  2. Com compto les visites dels rastrejadors d'IA?
  3. Què ha rebut de veritat cada rastrejador?
  4. Com verifico que una visita ve realment d'OpenAI, Anthropic o Perplexity?
  5. Com verifico Googlebot, Applebot i CCBot?
  6. Com són els rastrejadors d'IA falsos?
  7. Què no et poden dir els registres?

Com es veu la visita d'un rastrejador d'IA en un registre d'accés?

En el format combinat, cada línia conté la IP del client, l'hora, la línia de la petició, el codi d'estat, la mida de la resposta, el referent i el user agent. nginx el defineix com $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", i el format combined d'Apache té els mateixos camps. Una visita del rastrejador d'entrenament d'OpenAI és així:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Els tokens que has de buscar són els que documenten els proveïdors: GPTBot, OAI-SearchBot i ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot i Claude-User (Anthropic); PerplexityBot i Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer i CCBot. No veuràs mai Google-Extended ni Applebot-Extended. Google diu que Google-Extended no té cap cadena de user agent pròpia, i Apple diu que Applebot-Extended no rastreja; tots dos són només tokens del robots.txt.

Com compto les visites dels rastrejadors d'IA?

Si divideixes cada línia per les cometes dobles, el user agent queda al camp 6. Si només mires aquest camp, evites falsos positius d'URL que per casualitat contenen el nom d'un bot. Això compta les visites per rastrejador al registre actual i als registres rotats i comprimits:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Ajusta el camí per a Apache, sovint /var/log/apache2/access.log* o /var/log/httpd/access_log*. zcat -f llegeix tant fitxers normals com comprimits amb gzip. Si hi falta un rastrejador que esperaves, això sol no demostra un bloqueig: potser simplement no ha vingut durant el període que cobreixen els registres.

Què ha rebut de veritat cada rastrejador?

Les visites importen menys que les respostes. Un rastrejador que rep un 403 a cada petició ha visitat el lloc però no ha llegit res. Aquestes ordres mostren els codis d'estat, els camins més demanats i si el rastrejador ha obtingut el robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

El que vols és sobretot respostes 200. Molts 403 o 429 apunten a una regla del tallafoc o a una limitació de peticions. Les respostes 5xx al robots.txt són greus: segons l'RFC 9309, un rastrejador que rep un error del servidor per al robots.txt ha de suposar que tot el lloc està bloquejat.

Si el teu lloc és darrere d'una CDN, hi ha dues coses que canvien. Les peticions que bloqueja la CDN no arriben mai al servidor d'origen, així que no apareixen als seus registres; en aquest cas, revisa els esdeveniments de seguretat de la mateixa CDN. I si no restableixes la IP del visitant, el servidor d'origen registra l'adreça de la CDN. Cloudflare, per exemple, envia la IP original a la capçalera CF-Connecting-IP i per defecte es registra una IP de Cloudflare.

Com verifico que una visita ve realment d'OpenAI, Anthropic o Perplexity?

Aquests proveïdors publiquen els rangs d'IP que fan servir els seus agents: OpenAI a openai.com/gptbot.json, openai.com/searchbot.json i openai.com/chatgpt-user.json; Anthropic a claude.com/crawling/bots.json; Perplexity a perplexity.ai/perplexitybot.json i perplexity.ai/perplexity-user.json. Anthropic diu que una IP d'origen de la seva llista indica que el rastrejador ve d'Anthropic. Cap d'aquests tres documenta la verificació per DNS inversa, així que fes servir les llistes.

Tots els fitxers tenen la mateixa forma, una llista prefixes d'entrades ipv4Prefix o ipv6Prefix, així que un petit script pot comprovar una IP amb qualsevol d'ells:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Per llistar les IP que s'han presentat com un rastrejador concret, executa awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' sobre el registre i passa'n la sortida per sort | uniq -c | sort -rn. Comprova cada IP amb la llista corresponent. Les llistes canvien, així que descarrega-les de nou en lloc de guardar-ne una còpia antiga.

Com verifico Googlebot, Applebot i CCBot?

Google, Apple i Common Crawl documenten una comprovació per DNS inversa i directa. Busca el nom d'amfitrió de la IP, comprova'n el domini i després busca aquest nom d'amfitrió i confirma que apunta a la mateixa IP:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Per a Google, el nom d'amfitrió ha d'acabar en googlebot.com, google.com o googleusercontent.com, segons el rastrejador; Google també publica els seus rangs, amb Googlebot a common-crawlers.json. Per a Apple ha de ser a applebot.apple.com, amb els rangs a applebot.json. Per a Common Crawl ha de ser sota crawl.commoncrawl.org, i Common Crawl avisa que altres rastrejadors fan servir falsament el nom CCBot.

Com són els rastrejadors d'IA falsos?

Els scrapers sovint agafen el user agent d'un rastrejador conegut per passar els filtres. Senyals típics:

També existeix el problema contrari: un rastrejador que fa servir un user agent de navegador normal no es pot identificar de cap manera a partir de la línia del registre. El 2025 Cloudflare va dir que havia observat Perplexity rastrejant amb user agents no declarats, semblants als d'un navegador, des d'IP de fora dels seus rangs publicats; Perplexity va discutir aquesta versió i va atribuir part del trànsit a un servei extern. Els registres sols no poden resoldre casos com aquest, i per això la verificació pels rangs d'IP publicats és important en totes dues direccions.

Què no et poden dir els registres?

Els registres mostren el que ha arribat al teu servidor. No mostren què ha bloquejat la CDN abans del servidor d'origen, si una pàgina que ha retornat 200 contenia el text o només una carcassa de scripts, ni si un rastrejador tindria permís si vingués avui. A més, només cobreixen el període que conserves, i els llocs amb poc trànsit poden rebre rastrejadors d'IA molt de tant en tant.

Al teu compte d'AISeeWhy pots pujar un registre d'accés en format combinat (normal o .gz, fins a 50 MB); s'analitza i es descarta, i les peticions de cada rastrejador d'IA es compten amb els seus codis d'estat i es comproven amb els rangs d'IP que publiquen els proveïdors.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Per què no veig Google-Extended als meus registres?

Google diu que Google-Extended no té cap cadena de user agent pròpia. El rastreig el fan els rastrejadors que Google ja té, i el token només controla com es pot fer servir el contingut. El mateix passa amb Applebot-Extended, que segons Apple no rastreja.

Em puc fiar del user agent dels registres?

No. Qualsevol pot enviar qualsevol user agent. Tracta'l com una afirmació i confirma-la amb els rangs d'IP que publica el proveïdor o, per a Google, Apple i Common Crawl, amb una consulta DNS inversa i directa.

Els meus registres no mostren cap visita de rastrejadors d'IA. Estic bloquejat?

No necessàriament. Potser el rastrejador encara no ha vingut, potser la CDN l'ha bloquejat abans del servidor d'origen, o potser els registres només recullen les adreces IP de la CDN. Revisa els esdeveniments de seguretat de la CDN i prova la pàgina amb el user agent de cada rastrejador.

El trànsit de ChatGPT-User és un rastrejador?

OpenAI diu que ChatGPT-User s'utilitza per a determinades accions dels usuaris i no per rastrejar el web de manera automàtica. Les seves visites solen venir després que algú pregunti a ChatGPT per una pàgina, així que arriben en poca quantitat.

Fonts

Més articles