¿Qué reciben realmente los rastreadores de IA de tu web? Un script de 66 líneas

Publicado

Respuesta corta

Solicita tu página como un navegador y como cada rastreador de IA, y compara. Un 403, un 429 o una página de desafío solo para el rastreador, o un 200 mucho más pequeño que la página del navegador, indica que el firewall lo rechaza aunque robots.txt lo permita. Un script de Node de 66 líneas lo hace con siete rastreadores y lee robots.txt según las reglas de RFC 9309.

robots.txt le indica a un rastreador qué puede descargar. No dice nada de lo que tu firewall o tu CDN envían realmente. Este artículo te ofrece un script breve que muestra ambas cosas lado a lado, para que veas dónde no coinciden.

En esta página
  1. ¿Por qué robots.txt no te dice qué recibe un rastreador?
  2. El script
  3. ¿Cómo lo ejecuto?
  4. ¿Qué aspecto tiene el resultado?
  5. ¿Cómo se lee la tabla?
  6. ¿Qué no puede decirte el script?
  7. ¿Qué vemos en sitios web reales?

¿Por qué robots.txt no te dice qué recibe un rastreador?

robots.txt es una petición. Un firewall, una CDN o una regla de protección contra bots decide lo que se envía de verdad, y puede responder a OAI-SearchBot o PerplexityBot con un 403, un 429 o una página "Just a moment..." mientras tus visitas con el navegador parecen totalmente normales.

La comprobación consiste en solicitar la misma URL como navegador y como rastreador, y comparar. Un 403, 429 o 503 solo para el rastreador, una página con el título Just a moment... o una respuesta 200 mucho más pequeña que la del navegador apuntan al firewall.

El script

Guárdalo como ai-crawler-view.mjs. Requiere Node 18 o superior y ningún paquete. Lee robots.txt una vez, descarga tu página como un navegador y después como siete rastreadores de IA: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot y Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic no publica las cadenas completas de user agent, así que las dos líneas de Claude usan solo el token del rastreador. Un firewall que reconoce el token reacciona igual.

¿Cómo lo ejecuto?

Ejecútalo sobre una página de tu propio sitio. La opción --expect, que es opcional, comprueba que una frase de tu contenido principal está presente en el HTML sin procesar que recibe cada rastreador. Si falta, es que unos scripts añaden el texto después de la carga, y muchos rastreadores no lo verán.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Ejecútalo solo en sitios que sean tuyos o que tengas permiso para probar. Envía nueve peticiones: robots.txt, el navegador y una por cada rastreador.

¿Qué aspecto tiene el resultado?

Este es el resultado frente a un servidor de pruebas local deliberadamente hostil que desafía a OAI-SearchBot, limita la tasa de ClaudeBot, sirve a PerplexityBot una página vacía y prohíbe GPTBot en robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

En aiseewhy.com todos los rastreadores reciben la página completa, con el mismo estado y tamaño que el navegador.

¿Cómo se lee la tabla?

¿Qué no puede decirte el script?

¿Qué vemos en sitios web reales?

AISeeWhy realiza este tipo de comprobación para 14 rastreadores. Entre los 165 sitios web de empresas de EE. UU., Reino Unido y Francia que pudimos probar, el 38 % (63 sitios) rechazó en el servidor al menos a un rastreador de IA mientras que un navegador desde la misma dirección obtenía la página. Todos esos sitios rechazaron al menos a un bot de entrenamiento o de scraping, y el 10 % (16 sitios) rechazó además al menos a un rastreador de búsqueda con IA, como PerplexityBot (11 sitios) u OAI-SearchBot (5).

Los sitios no son una muestra aleatoria, y otros 53 no se pudieron probar porque incluso una petición simple de navegador fue rechazada o quedó sin respuesta. Tómalo como un patrón que merece comprobarse en tu propio sitio, no como un censo.

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿Es seguro ejecutarlo contra cualquier sitio?

Ejecútalo solo en sitios que sean tuyos o que tengas permiso para probar. Envía peticiones con user agents de rastreadores, y algunas defensas contra bots las consideran hostiles.

¿Por qué GPTBot aparece como ok si robots.txt lo prohíbe?

robots.txt es una petición, no un candado. El servidor responde a cualquiera que lo ignore, por eso la columna HTTP indica ok. La regla que aparece al lado muestra lo que obedece un rastreador que se comporta bien.

¿El script ejecuta JavaScript?

No, a propósito. Muestra el HTML que recibe un rastreador que no renderiza las páginas. La opción --expect te indica si tu texto principal ya está en ese HTML.

¿Un resultado limpio significa que ChatGPT citará mi página?

No. El acceso es necesario pero no suficiente. Para saber si un asistente nombra tu sitio, hazle las preguntas que hacen tus compradores y anota qué sitios cita.

Fuentes

Más artículos