O que os crawlers de IA realmente recebem do seu site? Um script de 66 linhas
Peça a sua página como um navegador e como cada crawler de IA, e compare. Um 403, um 429 ou uma página de desafio só para o crawler, ou um 200 bem menor que a página do navegador, indica que o firewall o recusa mesmo quando o robots.txt permite. Um script Node de 66 linhas faz isso para sete crawlers e lê o robots.txt pelas regras da RFC 9309.
O robots.txt diz a um crawler o que ele pode acessar. Ele não diz nada sobre o que o seu firewall ou CDN realmente devolve. Este post traz um script curto que mostra as duas coisas lado a lado, para você ver onde elas discordam.
Neste artigo
Por que o robots.txt não mostra o que um crawler recebe?
O robots.txt é um pedido. Quem decide o que é de fato enviado é um firewall, uma CDN ou uma regra de proteção contra bots, e ele pode responder a OAI-SearchBot ou PerplexityBot com um 403, um 429 ou uma página "Just a moment..." enquanto suas próprias visitas pelo navegador parecem perfeitamente normais.
A verificação é pedir a mesma URL como navegador e como crawler, e comparar. Um 403, 429 ou 503 só para o crawler, uma página com o título Just a moment... ou uma resposta 200 muito menor que a do navegador apontam para o firewall.
O script
Salve-o como ai-crawler-view.mjs. Ele exige Node 18 ou mais recente e nenhum pacote. Ele lê o robots.txt uma vez, acessa a sua página como navegador e depois como sete crawlers de IA: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot e Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} A Anthropic não publica as strings completas de user agent, então as duas linhas do Claude usam apenas o token do crawler. Um firewall que se baseia no token reage da mesma forma.
Como executo o script?
Execute-o em uma página do seu próprio site. A flag opcional --expect verifica se uma frase do seu conteúdo principal está presente no HTML bruto que cada crawler recebe. Se ela não estiver, scripts adicionam o texto depois do carregamento, e muitos crawlers não vão enxergá-lo.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Execute-o apenas em sites que são seus ou que você tem permissão para testar. Ele envia nove requisições: robots.txt, o navegador e uma por crawler.
Como é a saída?
Este é o resultado contra um servidor de teste local deliberadamente hostil, que impõe um desafio a OAI-SearchBot, limita a taxa de ClaudeBot, entrega a PerplexityBot uma casca vazia e bloqueia GPTBot no robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok No aiseewhy.com, todo crawler recebe a página completa, com o mesmo status e tamanho do navegador.
Como leio a tabela?
- A coluna robots.txt é a permissão que você deu: a regra que se aplica àquele crawler segundo a RFC 9309, ou seja, o grupo que cita o crawler (ou, na falta dele,
*), depois a regra correspondente mais longa, comAllowvencendo um empate. - As colunas HTTP e bytes mostram o que o servidor fez.
GPTBotaparece com 200 porque o servidor atende qualquer um que ignore o robots.txt; a regra ao lado é o que um crawler bem-comportado obedece. - As linhas perigosas são as opostas:
allow: /ao lado deBLOCKEDouTHIN. É um site que diz sim e responde não.
O que o script não consegue dizer?
- Ele testa user agents a partir do seu próprio endereço IP, não os crawlers reais. Muitos firewalls verificam um crawler pelas faixas de IP que o fornecedor publica, então um
OAI-SearchBotreal pode passar quando a sua requisição é recusada, ou o contrário. Use-o para encontrar regras que reagem ao user agent e depois confira as listas de IP publicadas pelos fornecedores. - Ele não executa JavaScript, de propósito: mostra o HTML que um crawler que não renderiza veria.
- Um resultado limpo não é uma recomendação. Ser legível não é o mesmo que ser citado.
O que vemos em sites reais?
O AISeeWhy faz esse tipo de verificação para 14 crawlers. Entre 165 sites empresariais dos EUA, do Reino Unido e da França que conseguimos testar, 38% (63 sites) recusaram no servidor pelo menos um crawler de IA, enquanto um navegador do mesmo endereço recebeu a página. Todos esses sites recusaram pelo menos um bot de treinamento ou de scraping, e 10% (16 sites) também recusaram pelo menos um crawler de busca de IA, como PerplexityBot (11 sites) ou OAI-SearchBot (5).
Os sites não formam uma amostra aleatória, e outros 53 não puderam ser testados porque até uma requisição simples de navegador foi recusada ou ficou sem resposta. Trate isso como um padrão que vale a pena verificar no seu site, não como um censo.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificação de IP de crawlers de IA
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
É seguro executar isto em qualquer site?
Execute apenas em sites que são seus ou que você tem permissão para testar. Ele envia requisições com user agents de crawlers, que algumas defesas contra bots tratam como hostis.
Por que o GPTBot aparece como ok quando o robots.txt o bloqueia?
O robots.txt é um pedido, não uma tranca. O servidor atende qualquer um que o ignore, então a coluna HTTP mostra ok. A regra ao lado mostra o que um crawler bem-comportado obedece.
O script executa JavaScript?
Não, de propósito. Ele mostra o HTML que um crawler que não renderiza páginas recebe. A flag --expect indica se o seu texto principal já está nesse HTML.
Um resultado limpo significa que o ChatGPT vai citar a minha página?
Não. O acesso é necessário, mas não suficiente. Para saber se um assistente cita o seu site, faça a ele as perguntas que os seus compradores fazem e anote quais sites ele cita.
Fontes
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)