¿Qué reciben realmente los rastreadores de IA de tu web? Un script de 66 líneas
Solicita tu página como un navegador y como cada rastreador de IA, y compara. Un 403, un 429 o una página de desafío solo para el rastreador, o un 200 mucho más pequeño que la página del navegador, indica que el firewall lo rechaza aunque robots.txt lo permita. Un script de Node de 66 líneas lo hace con siete rastreadores y lee robots.txt según las reglas de RFC 9309.
robots.txt le indica a un rastreador qué puede descargar. No dice nada de lo que tu firewall o tu CDN envían realmente. Este artículo te ofrece un script breve que muestra ambas cosas lado a lado, para que veas dónde no coinciden.
En esta página
¿Por qué robots.txt no te dice qué recibe un rastreador?
robots.txt es una petición. Un firewall, una CDN o una regla de protección contra bots decide lo que se envía de verdad, y puede responder a OAI-SearchBot o PerplexityBot con un 403, un 429 o una página "Just a moment..." mientras tus visitas con el navegador parecen totalmente normales.
La comprobación consiste en solicitar la misma URL como navegador y como rastreador, y comparar. Un 403, 429 o 503 solo para el rastreador, una página con el título Just a moment... o una respuesta 200 mucho más pequeña que la del navegador apuntan al firewall.
El script
Guárdalo como ai-crawler-view.mjs. Requiere Node 18 o superior y ningún paquete. Lee robots.txt una vez, descarga tu página como un navegador y después como siete rastreadores de IA: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot y Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic no publica las cadenas completas de user agent, así que las dos líneas de Claude usan solo el token del rastreador. Un firewall que reconoce el token reacciona igual.
¿Cómo lo ejecuto?
Ejecútalo sobre una página de tu propio sitio. La opción --expect, que es opcional, comprueba que una frase de tu contenido principal está presente en el HTML sin procesar que recibe cada rastreador. Si falta, es que unos scripts añaden el texto después de la carga, y muchos rastreadores no lo verán.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Ejecútalo solo en sitios que sean tuyos o que tengas permiso para probar. Envía nueve peticiones: robots.txt, el navegador y una por cada rastreador.
¿Qué aspecto tiene el resultado?
Este es el resultado frente a un servidor de pruebas local deliberadamente hostil que desafía a OAI-SearchBot, limita la tasa de ClaudeBot, sirve a PerplexityBot una página vacía y prohíbe GPTBot en robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok En aiseewhy.com todos los rastreadores reciben la página completa, con el mismo estado y tamaño que el navegador.
¿Cómo se lee la tabla?
- La columna robots.txt es el permiso que has dado: la regla que se aplica a ese rastreador según RFC 9309, es decir, el grupo que nombra al rastreador o, si no,
*, y luego la regla coincidente más larga, dondeAllowgana en caso de empate. - Las columnas HTTP y bytes muestran lo que hizo el servidor.
GPTBotmuestra un 200 porque el servidor responde a cualquiera que ignore robots.txt; la regla que aparece al lado es la que obedece un rastreador que se comporta bien. - Las filas peligrosas son las contrarias:
allow: /junto aBLOCKEDoTHIN. Es un sitio que dice sí y responde no.
¿Qué no puede decirte el script?
- Prueba user agents desde tu propia dirección IP, no los rastreadores reales. Muchos firewalls verifican un rastreador por los rangos de IP que publica su proveedor, así que un
OAI-SearchBotreal puede pasar cuando tu petición es rechazada, o al revés. Úsalo para encontrar reglas que reaccionan al user agent y después revisa las listas de IP publicadas por los proveedores. - No ejecuta JavaScript, a propósito: muestra el HTML que vería un rastreador que no renderiza.
- Un resultado limpio no es una recomendación. Ser legible no es lo mismo que ser citado.
¿Qué vemos en sitios web reales?
AISeeWhy realiza este tipo de comprobación para 14 rastreadores. Entre los 165 sitios web de empresas de EE. UU., Reino Unido y Francia que pudimos probar, el 38 % (63 sitios) rechazó en el servidor al menos a un rastreador de IA mientras que un navegador desde la misma dirección obtenía la página. Todos esos sitios rechazaron al menos a un bot de entrenamiento o de scraping, y el 10 % (16 sitios) rechazó además al menos a un rastreador de búsqueda con IA, como PerplexityBot (11 sitios) u OAI-SearchBot (5).
Los sitios no son una muestra aleatoria, y otros 53 no se pudieron probar porque incluso una petición simple de navegador fue rechazada o quedó sin respuesta. Tómalo como un patrón que merece comprobarse en tu propio sitio, no como un censo.
Próximos pasos
- Probador y comprobador de robots.txt para rastreadores de IA
- Comprobación de IP de rastreadores de IA
- Ver un ejemplo de informe completo
- Monitorización de rastreadores de IA
- Planes y precios
Rastreadores en este artículo
Preguntas frecuentes
¿Es seguro ejecutarlo contra cualquier sitio?
Ejecútalo solo en sitios que sean tuyos o que tengas permiso para probar. Envía peticiones con user agents de rastreadores, y algunas defensas contra bots las consideran hostiles.
¿Por qué GPTBot aparece como ok si robots.txt lo prohíbe?
robots.txt es una petición, no un candado. El servidor responde a cualquiera que lo ignore, por eso la columna HTTP indica ok. La regla que aparece al lado muestra lo que obedece un rastreador que se comporta bien.
¿El script ejecuta JavaScript?
No, a propósito. Muestra el HTML que recibe un rastreador que no renderiza las páginas. La opción --expect te indica si tu texto principal ya está en ese HTML.
¿Un resultado limpio significa que ChatGPT citará mi página?
No. El acceso es necesario pero no suficiente. Para saber si un asistente nombra tu sitio, hazle las preguntas que hacen tus compradores y anota qué sitios cita.
Fuentes
- RFC 9309: Protocolo de exclusión de robots
- OpenAI: Descripción general de los rastreadores de OpenAI
- Anthropic: ¿Anthropic rastrea datos de la web y cómo pueden los propietarios de sitios bloquear el rastreador?
- Perplexity: Rastreadores de Perplexity
- Cloudflare: Gestionar rastreadores de IA (AI Crawl Control)