Què reben realment els rastrejadors d'IA del teu web? Un script de 66 línies
Demana la pàgina com un navegador i com cada rastrejador d'IA, i compara. Un 403, un 429 o una pàgina de repte només per al rastrejador, o un 200 molt més petit que la pàgina del navegador, vol dir que el tallafoc el rebutja encara que robots.txt el permeti. Un script de Node de 66 línies ho fa amb set rastrejadors i llegeix robots.txt segons les regles de l'RFC 9309.
robots.txt diu a un rastrejador què pot descarregar. No diu res sobre el que el teu tallafoc o CDN envia realment. Aquest article t'ofereix un script curt que mostra totes dues coses una al costat de l'altra, perquè vegis on no coincideixen.
En aquesta pàgina
Per què robots.txt no diu què rep un rastrejador?
robots.txt és una petició. Un tallafoc, un CDN o una regla de protecció contra bots decideix què s'envia de debò, i pot respondre a OAI-SearchBot o PerplexityBot amb un 403, un 429 o una pàgina "Just a moment..." mentre que les visites des del teu navegador semblen del tot normals.
La comprovació consisteix a demanar la mateixa URL com un navegador i com el rastrejador, i comparar. Un 403, 429 o 503 només per al rastrejador, una pàgina amb el títol Just a moment..., o una resposta 200 molt més petita que la del navegador apunten al tallafoc.
L'script
Desa'l com a ai-crawler-view.mjs. Necessita Node 18 o posterior i cap paquet. Llegeix robots.txt una vegada, demana la teva pàgina com un navegador i després com set rastrejadors d'IA: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot i Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic no publica les cadenes completes d'agent d'usuari, així que les dues línies de Claude fan servir només el token del rastrejador. Un tallafoc que detecta pel token reacciona igual.
Com l'executo?
Executa'l contra una pàgina del teu propi web. L'opció --expect, que és opcional, comprova que una frase del teu contingut principal és present en l'HTML en brut que rep cada rastrejador. Si falta, el text l'afegeixen scripts després de la càrrega, i molts rastrejadors no el veuran.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Executa'l només en llocs propis o que tinguis permís per provar. Envia nou peticions: robots.txt, el navegador i una per rastrejador.
Quin aspecte té la sortida?
Aquest és el resultat contra un servidor de prova local deliberadament hostil, que posa un repte a OAI-SearchBot, limita la freqüència de ClaudeBot, serveix a PerplexityBot una carcassa buida i prohibeix GPTBot a robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok A aiseewhy.com tots els rastrejadors reben la pàgina completa, amb el mateix estat i la mateixa mida que el navegador.
Com es llegeix la taula?
- La columna robots.txt és el permís que has donat: la regla que s'aplica a aquell rastrejador segons l'RFC 9309, és a dir, el grup que anomena el rastrejador, o si no
*, i després la regla coincident més llarga, ambAllowguanyant en cas d'empat. - Les columnes HTTP i bytes són el que ha fet el servidor.
GPTBotmostra un 200 perquè el servidor respon a qualsevol que ignori robots.txt; la regla del costat és la que obeeix un rastrejador que es porta bé. - Les files perilloses són les contràries:
allow: /al costat deBLOCKEDoTHIN. És un lloc que diu que sí i respon que no.
Què no et pot dir l'script?
- Prova agents d'usuari des de la teva pròpia adreça IP, no els rastrejadors reals. Molts tallafocs verifiquen un rastrejador pels intervals d'IP que publica el seu proveïdor, de manera que un
OAI-SearchBotreal pot passar quan la teva petició es rebutja, o al revés. Fes-lo servir per trobar regles que reaccionen a l'agent d'usuari i després consulta les llistes d'IP publicades pels proveïdors. - No executa JavaScript, expressament: mostra l'HTML que veuria un rastrejador que no renderitza.
- Un resultat net no és una recomanació. Ser llegible no és el mateix que ser citat.
Què veiem en llocs web reals?
AISeeWhy fa aquest tipus de comprovació per a 14 rastrejadors. En 165 llocs web d'empreses dels EUA, el Regne Unit i França que vam poder provar, el 38% (63 llocs) rebutjava almenys un rastrejador d'IA al servidor mentre que un navegador des de la mateixa adreça obtenia la pàgina. Tots aquests llocs rebutjaven almenys un bot d'entrenament o de scraping, i el 10% (16 llocs) també rebutjava almenys un rastrejador de cerca d'IA, com PerplexityBot (11 llocs) o OAI-SearchBot (5).
Els llocs no són una mostra aleatòria, i 53 més no es van poder provar perquè fins i tot una petició simple de navegador es va rebutjar o no es va respondre. Pren-ho com un patró que val la pena comprovar al teu lloc, no com un cens.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
És segur executar-ho contra qualsevol lloc?
Executa'l només contra llocs propis o que tinguis permís per provar. Envia peticions amb agents d'usuari de rastrejadors, que algunes defenses contra bots consideren hostils.
Per què GPTBot mostra ok si robots.txt el prohibeix?
robots.txt és una petició, no un pany. El servidor respon a qualsevol que l'ignori, per això la columna HTTP diu ok. La regla del costat mostra el que obeeix un rastrejador que es porta bé.
L'script executa JavaScript?
No, expressament. Mostra l'HTML que rep un rastrejador que no renderitza les pàgines. L'opció --expect t'indica si el teu text principal ja és en aquest HTML.
Un resultat net vol dir que ChatGPT citarà la meva pàgina?
No. L'accés és necessari però no suficient. Per veure si un assistent anomena el teu lloc, fes-li les preguntes que fan els teus compradors i anota quins llocs cita.
Fonts
- RFC 9309: Protocol d'exclusió de robots
- OpenAI: Visió general dels rastrejadors d'OpenAI
- Anthropic: Anthropic rastreja dades del web i com poden els propietaris de llocs bloquejar el rastrejador?
- Perplexity: Rastrejadors de Perplexity
- Cloudflare: Gestiona els rastrejadors d'IA (AI Crawl Control)