Como desacelerar crawlers de IA sem bloqueá-los

Publicado em

Resposta curta

Limite a taxa em vez de bloquear. Responda às requisições excedentes dos crawlers com 429 ou 503 e um cabeçalho Retry-After, dê a cada crawler a própria cota, deixe /robots.txt fora de qualquer limite e sirva os crawlers a partir do cache. Crawl-delay no robots.txt só ajuda onde o operador o documenta: a Anthropic e o Bing documentam, o Google diz que não o suporta, e a OpenAI e a Perplexity não o mencionam. Mantenha os crawlers de busca de IA liberados, ou você também sai das respostas que eles alimentam.

Quando um crawler envia milhares de requisições por hora, a solução rápida é um Disallow: / ou um bloqueio no firewall. Para um crawler de treinamento, essa pode ser uma escolha razoável. Para o OAI-SearchBot, o Claude-SearchBot ou o PerplexityBot, ela tira suas páginas das respostas de IA em que você quer aparecer. Na maioria das vezes dá para reduzir a carga sem abrir mão disso, com sinais que os crawlers já entendem: códigos de status, cache e, para alguns operadores, Crawl-delay.

Neste artigo
  1. Qual crawler está realmente causando a carga?
  2. O Crawl-delay funciona para crawlers de IA?
  3. Como as respostas 429 e 503 desaceleram os crawlers?
  4. Como definir um limite de taxa para crawlers de IA?
  5. O cache pode reduzir a carga dos crawlers?
  6. O que evitar ao desacelerar crawlers?
  7. Como confirmar que os crawlers continuam passando?

Qual crawler está realmente causando a carga?

Olhe antes de mudar qualquer coisa. Conte as requisições por user agent e por hora nos logs de acesso e confira os IPs de origem com as faixas que cada fornecedor publica; nosso guia sobre como verificar crawlers de IA nos logs do servidor traz os comandos. Duas descobertas são frequentes:

Separe também os crawlers pela função. Crawlers de treinamento como GPTBot e ClaudeBot não são os que tornam você citável na busca com IA, então, se um deles é o problema, bloqueá-lo é uma opção razoável. O resto deste guia é para os crawlers que você quer manter.

O Crawl-delay funciona para crawlers de IA?

Crawl-delay não faz parte da RFC 9309, então cada operador decide se o lê. Isto é o que a documentação diz em novembro de 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Atenção à lógica dos grupos. Um crawler que encontra um grupo com o próprio nome ignora completamente o grupo User-agent: *, então um grupo ClaudeBot que contém só Crawl-delay descartaria todos os Disallow que você definiu para os demais. Repita-os, como acima. O Bing descreve o Crawl-delay como uma exceção que ele lê de qualquer um dos grupos, mas não presuma isso para outros crawlers.

Como as respostas 429 e 503 desaceleram os crawlers?

Para picos de carga, o código de status é o sinal que os crawlers foram feitos para respeitar. 429 Too Many Requests, definido na RFC 6585, significa que o cliente enviou requisições demais em um dado intervalo, e pode trazer um cabeçalho Retry-After dizendo quanto tempo esperar. 503 Service Unavailable diz que o servidor não dá conta agora.

O Google documenta isso como a forma de reduzir rapidamente a taxa de rastreamento do Googlebot: retornar 500, 503 ou 429 em vez de 200 para parte das requisições de rastreamento. Ele diz que isso reduz a taxa de rastreamento do hostname inteiro e que Retry-After pode conter um número de segundos ou uma data.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Faça isso por pouco tempo. O Google desaconselha manter isso por mais de um ou dois dias, porque uma URL que retorna esses códigos por vários dias pode ser removida do índice. Para uma redução duradoura, o Google oferece uma solicitação especial pelo Search Console.

OpenAI, Anthropic e Perplexity não documentam como os crawlers delas reagem a 429, 503 ou Retry-After. Esses códigos são a forma padrão de pedir menos, mas a rapidez com que cada crawler de IA recua não é algo que dê para consultar.

Como definir um limite de taxa para crawlers de IA?

Dê a cada crawler a própria cota em vez de um limite único para todo o tráfego, e responda às requisições acima dela com 429. No nginx, o módulo limit_req faz isso. Requisições com chave vazia não são contadas, então um map que retorna uma chave só para user agents de crawlers deixa os visitantes humanos em paz. Aqui cada crawler recebe 60 requisições por minuto com um burst de 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

A chave aqui é o user agent, então qualquer um que copie o nome de um crawler divide a cota com ele. Para um limite de taxa, isso é aceitável. Para uma regra de liberação, verifique também as faixas de IP publicadas pelo fornecedor.

Na Cloudflare, as regras de rate limiting fazem o mesmo trabalho na borda. No plano Free você tem uma regra, contada por IP em 10 segundos, e a expressão da regra pode usar o caminho e o campo Verified Bot. Contar por IP é impreciso para crawlers que distribuem as requisições entre muitos endereços, e os planos superiores adicionam mais opções de contagem. A resposta padrão é 429, e você pode definir outro código 4xx e um corpo personalizado. O AI Crawl Control oferece Allow, Block e, em beta privado, Charge para cada crawler, mas nenhuma configuração de taxa.

Use o que usar, deixe /robots.txt fora do limite. A RFC 9309 diz que um erro de servidor no robots.txt significa que o crawler deve presumir que o site inteiro está bloqueado, e o Google exclui o 429 dos códigos 4xx que trata como arquivo ausente.

O cache pode reduzir a carga dos crawlers?

Muitas vezes mais que um limite de taxa. Os crawlers pedem principalmente páginas públicas que são iguais para todos os visitantes, então servi-las de uma CDN ou de um cache de páginas transforma renderizações caras em acertos de cache baratos. Confira se o seu cache não mantém uma variante separada, sem cache, para user agents de crawlers.

Requisições condicionais também ajudam. O Google diz que os crawlers dele suportam cache HTTP com ETag e If-None-Match, e com Last-Modified e If-Modified-Since, e usam ETag quando os dois estão presentes. As páginas de crawlers da OpenAI, Anthropic e Perplexity não dizem se os crawlers delas enviam requisições condicionais, então conte com essa economia só para o Google.

O que evitar ao desacelerar crawlers?

Como confirmar que os crawlers continuam passando?

É fácil deixar limites de taxa apertados demais. A verificação gratuita da AISeeWhy busca uma página como 16 crawlers de IA e de busca ao lado de um navegador real, aplica o seu robots.txt por crawler e reconhece páginas de desafio de firewall, então uma regra que responde aos crawlers de forma diferente dos navegadores aparece. Uma requisição por crawler não dispara um limite sensato, e a ideia é justamente essa: rode a verificação depois de mudar as regras para confirmar que requisições normais continuam passando. A verificação gratuita de IP de crawlers de IA informa se um IP dos seus logs pertence de fato ao GPTBot ou a outro crawler.

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

O Google suporta Crawl-delay?

Não. A documentação de robots.txt do Google lista crawl-delay entre os campos que ele não suporta. Para desacelerar o Googlebot por pouco tempo, retorne 503, 500 ou 429 para parte das requisições; para uma redução mais longa, o Google oferece uma solicitação especial pelo Search Console.

O ClaudeBot respeita o Crawl-delay?

A Anthropic diz que suporta a extensão não padronizada Crawl-delay. Coloque-a em um grupo ClaudeBot e repita ali as regras Disallow do seu grupo User-agent: *.

GPTBot e PerplexityBot suportam Crawl-delay?

As páginas de crawlers da OpenAI e da Perplexity não mencionam Crawl-delay, então o efeito não está documentado. Use um limite no servidor que responda às requisições excedentes com 429.

Uma resposta 429 prejudica meu ranking?

Não por um período curto. O Google documenta 429 e 503 como forma de reduzir o rastreamento temporariamente, mas avisa que URLs que os retornam por vários dias podem ser removidas do índice.

Devo bloquear o GPTBot para reduzir a carga?

Pode. A OpenAI diz que o GPTBot rastreia conteúdo que pode ser usado em treinamento e que cada configuração do robots.txt é independente, então bloqueá-lo não tira você da busca do ChatGPT, que usa o OAI-SearchBot. Confira antes nos logs se a carga vem dos endereços da OpenAI.

Fontes

Mais artigos