O que os crawlers de IA realmente recebem do seu site? Um script de 66 linhas

Publicado em

Resposta curta

Peça a sua página como um navegador e como cada crawler de IA, e compare. Um 403, um 429 ou uma página de desafio só para o crawler, ou um 200 bem menor que a página do navegador, indica que o firewall o recusa mesmo quando o robots.txt permite. Um script Node de 66 linhas faz isso para sete crawlers e lê o robots.txt pelas regras da RFC 9309.

O robots.txt diz a um crawler o que ele pode acessar. Ele não diz nada sobre o que o seu firewall ou CDN realmente devolve. Este post traz um script curto que mostra as duas coisas lado a lado, para você ver onde elas discordam.

Neste artigo
  1. Por que o robots.txt não mostra o que um crawler recebe?
  2. O script
  3. Como executo o script?
  4. Como é a saída?
  5. Como leio a tabela?
  6. O que o script não consegue dizer?
  7. O que vemos em sites reais?

Por que o robots.txt não mostra o que um crawler recebe?

O robots.txt é um pedido. Quem decide o que é de fato enviado é um firewall, uma CDN ou uma regra de proteção contra bots, e ele pode responder a OAI-SearchBot ou PerplexityBot com um 403, um 429 ou uma página "Just a moment..." enquanto suas próprias visitas pelo navegador parecem perfeitamente normais.

A verificação é pedir a mesma URL como navegador e como crawler, e comparar. Um 403, 429 ou 503 só para o crawler, uma página com o título Just a moment... ou uma resposta 200 muito menor que a do navegador apontam para o firewall.

O script

Salve-o como ai-crawler-view.mjs. Ele exige Node 18 ou mais recente e nenhum pacote. Ele lê o robots.txt uma vez, acessa a sua página como navegador e depois como sete crawlers de IA: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot e Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

A Anthropic não publica as strings completas de user agent, então as duas linhas do Claude usam apenas o token do crawler. Um firewall que se baseia no token reage da mesma forma.

Como executo o script?

Execute-o em uma página do seu próprio site. A flag opcional --expect verifica se uma frase do seu conteúdo principal está presente no HTML bruto que cada crawler recebe. Se ela não estiver, scripts adicionam o texto depois do carregamento, e muitos crawlers não vão enxergá-lo.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Execute-o apenas em sites que são seus ou que você tem permissão para testar. Ele envia nove requisições: robots.txt, o navegador e uma por crawler.

Como é a saída?

Este é o resultado contra um servidor de teste local deliberadamente hostil, que impõe um desafio a OAI-SearchBot, limita a taxa de ClaudeBot, entrega a PerplexityBot uma casca vazia e bloqueia GPTBot no robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

No aiseewhy.com, todo crawler recebe a página completa, com o mesmo status e tamanho do navegador.

Como leio a tabela?

O que o script não consegue dizer?

O que vemos em sites reais?

O AISeeWhy faz esse tipo de verificação para 14 crawlers. Entre 165 sites empresariais dos EUA, do Reino Unido e da França que conseguimos testar, 38% (63 sites) recusaram no servidor pelo menos um crawler de IA, enquanto um navegador do mesmo endereço recebeu a página. Todos esses sites recusaram pelo menos um bot de treinamento ou de scraping, e 10% (16 sites) também recusaram pelo menos um crawler de busca de IA, como PerplexityBot (11 sites) ou OAI-SearchBot (5).

Os sites não formam uma amostra aleatória, e outros 53 não puderam ser testados porque até uma requisição simples de navegador foi recusada ou ficou sem resposta. Trate isso como um padrão que vale a pena verificar no seu site, não como um censo.

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

É seguro executar isto em qualquer site?

Execute apenas em sites que são seus ou que você tem permissão para testar. Ele envia requisições com user agents de crawlers, que algumas defesas contra bots tratam como hostis.

Por que o GPTBot aparece como ok quando o robots.txt o bloqueia?

O robots.txt é um pedido, não uma tranca. O servidor atende qualquer um que o ignore, então a coluna HTTP mostra ok. A regra ao lado mostra o que um crawler bem-comportado obedece.

O script executa JavaScript?

Não, de propósito. Ele mostra o HTML que um crawler que não renderiza páginas recebe. A flag --expect indica se o seu texto principal já está nesse HTML.

Um resultado limpo significa que o ChatGPT vai citar a minha página?

Não. O acesso é necessário, mas não suficiente. Para saber se um assistente cita o seu site, faça a ele as perguntas que os seus compradores fazem e anote quais sites ele cita.

Fontes

Mais artigos