Què reben realment els rastrejadors d'IA del teu web? Un script de 66 línies

Publicat

Resposta breu

Demana la pàgina com un navegador i com cada rastrejador d'IA, i compara. Un 403, un 429 o una pàgina de repte només per al rastrejador, o un 200 molt més petit que la pàgina del navegador, vol dir que el tallafoc el rebutja encara que robots.txt el permeti. Un script de Node de 66 línies ho fa amb set rastrejadors i llegeix robots.txt segons les regles de l'RFC 9309.

robots.txt diu a un rastrejador què pot descarregar. No diu res sobre el que el teu tallafoc o CDN envia realment. Aquest article t'ofereix un script curt que mostra totes dues coses una al costat de l'altra, perquè vegis on no coincideixen.

En aquesta pàgina
  1. Per què robots.txt no diu què rep un rastrejador?
  2. L'script
  3. Com l'executo?
  4. Quin aspecte té la sortida?
  5. Com es llegeix la taula?
  6. Què no et pot dir l'script?
  7. Què veiem en llocs web reals?

Per què robots.txt no diu què rep un rastrejador?

robots.txt és una petició. Un tallafoc, un CDN o una regla de protecció contra bots decideix què s'envia de debò, i pot respondre a OAI-SearchBot o PerplexityBot amb un 403, un 429 o una pàgina "Just a moment..." mentre que les visites des del teu navegador semblen del tot normals.

La comprovació consisteix a demanar la mateixa URL com un navegador i com el rastrejador, i comparar. Un 403, 429 o 503 només per al rastrejador, una pàgina amb el títol Just a moment..., o una resposta 200 molt més petita que la del navegador apunten al tallafoc.

L'script

Desa'l com a ai-crawler-view.mjs. Necessita Node 18 o posterior i cap paquet. Llegeix robots.txt una vegada, demana la teva pàgina com un navegador i després com set rastrejadors d'IA: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot i Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic no publica les cadenes completes d'agent d'usuari, així que les dues línies de Claude fan servir només el token del rastrejador. Un tallafoc que detecta pel token reacciona igual.

Com l'executo?

Executa'l contra una pàgina del teu propi web. L'opció --expect, que és opcional, comprova que una frase del teu contingut principal és present en l'HTML en brut que rep cada rastrejador. Si falta, el text l'afegeixen scripts després de la càrrega, i molts rastrejadors no el veuran.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Executa'l només en llocs propis o que tinguis permís per provar. Envia nou peticions: robots.txt, el navegador i una per rastrejador.

Quin aspecte té la sortida?

Aquest és el resultat contra un servidor de prova local deliberadament hostil, que posa un repte a OAI-SearchBot, limita la freqüència de ClaudeBot, serveix a PerplexityBot una carcassa buida i prohibeix GPTBot a robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

A aiseewhy.com tots els rastrejadors reben la pàgina completa, amb el mateix estat i la mateixa mida que el navegador.

Com es llegeix la taula?

Què no et pot dir l'script?

Què veiem en llocs web reals?

AISeeWhy fa aquest tipus de comprovació per a 14 rastrejadors. En 165 llocs web d'empreses dels EUA, el Regne Unit i França que vam poder provar, el 38% (63 llocs) rebutjava almenys un rastrejador d'IA al servidor mentre que un navegador des de la mateixa adreça obtenia la pàgina. Tots aquests llocs rebutjaven almenys un bot d'entrenament o de scraping, i el 10% (16 llocs) també rebutjava almenys un rastrejador de cerca d'IA, com PerplexityBot (11 llocs) o OAI-SearchBot (5).

Els llocs no són una mostra aleatòria, i 53 més no es van poder provar perquè fins i tot una petició simple de navegador es va rebutjar o no es va respondre. Pren-ho com un patró que val la pena comprovar al teu lloc, no com un cens.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

És segur executar-ho contra qualsevol lloc?

Executa'l només contra llocs propis o que tinguis permís per provar. Envia peticions amb agents d'usuari de rastrejadors, que algunes defenses contra bots consideren hostils.

Per què GPTBot mostra ok si robots.txt el prohibeix?

robots.txt és una petició, no un pany. El servidor respon a qualsevol que l'ignori, per això la columna HTTP diu ok. La regla del costat mostra el que obeeix un rastrejador que es porta bé.

L'script executa JavaScript?

No, expressament. Mostra l'HTML que rep un rastrejador que no renderitza les pàgines. L'opció --expect t'indica si el teu text principal ja és en aquest HTML.

Un resultat net vol dir que ChatGPT citarà la meva pàgina?

No. L'accés és necessari però no suficient. Per veure si un assistent anomena el teu lloc, fes-li les preguntes que fan els teus compradors i anota quins llocs cita.

Fonts

Més articles