A Cloudflare está bloqueando crawlers de IA? Como descobrir e corrigir

Publicado em 2026-11-12

Resposta curta

A Cloudflare e outros firewalls podem responder aos crawlers de IA com um 403, um 429 ou uma página de desafio “Just a moment...” enquanto os navegadores recebem a página real, mesmo que o robots.txt permita o crawler. Verifique pedindo a página com o user agent do crawler e depois libere os crawlers de busca de IA no AI Crawl Control ou com uma regra de skip no WAF.

A proteção contra bots existe para barrar scrapers e abusos, e faz isso bem. O problema é que os crawlers de busca de IA também são bots. Uma configuração de segurança ativada anos atrás, um limite de requisições ou uma regra ampla contra user agents desconhecidos pode manter de fora, sem alarde, os crawlers que citam você, enquanto suas próprias visitas parecem totalmente normais.

Neste artigo

Por que um firewall bloquearia crawlers de IA?
Como distinguir um bloqueio de firewall de um bloqueio de robots.txt?
Como libero os crawlers de busca de IA na Cloudflare?
E o Bot Fight Mode?
Quais crawlers devo deixar passar?
Como a AISeeWhy detecta bloqueios de firewall?

Por que um firewall bloquearia crawlers de IA?

Os firewalls avaliam cada requisição. Um crawler não executa desafios de JavaScript, não guarda cookies como um navegador e muitas vezes pede várias páginas seguidas, então pode parecer exatamente o tráfego que a proteção contra bots foi feita para barrar. As causas comuns são:

Recursos de proteção contra bots que desafiam o tráfego que corresponde a padrões conhecidos de bots. O Bot Fight Mode da Cloudflare, por exemplo, aplica aos bots desafios computacionalmente caros.
Regras personalizadas do WAF que bloqueiam ou desafiam user agents com palavras como “bot” ou “crawler”, ou que permitem apenas uma lista curta de buscadores.
Configurações que bloqueiam crawlers de IA como categoria. A Cloudflare permite definir políticas para crawlers de Search, Agent e Training, e uma configuração Block ali vale para todos eles.
Limitação de taxa (rate limiting) que responde com 429 à sequência rápida de requisições de um crawler.
Bloqueios por país ou ASN que por acaso cobrem as redes de onde os crawlers operam.

Como distinguir um bloqueio de firewall de um bloqueio de robots.txt?

Um bloqueio no robots.txt é um pedido educado: o crawler lê suas regras e não busca a página. Um bloqueio de firewall é uma resposta: o crawler pede a página e recebe outra coisa. O segundo tipo dá para ver diretamente. Peça a página duas vezes, uma com o user agent de um navegador e outra com o do crawler, e compare.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Sinais de bloqueio de firewall: status 403, 429 ou 503 só para o crawler; uma página com o título Just a moment... ou Attention Required! | Cloudflare; um corpo que contém /cdn-cgi/challenge-platform; ou uma resposta 200 muito menor que a do navegador. Lembre que seu teste parte do seu IP, não da faixa de IP verificada do crawler, então ele mostra como o firewall trata o user agent, não cada detalhe de como trata o crawler real.

Como libero os crawlers de busca de IA na Cloudflare?

O AI Crawl Control da Cloudflare, disponível em todos os planos, lista os crawlers de IA que visitam seu domínio e permite definir uma ação para cada um. No painel, abra AI Crawl Control, vá à lista Crawlers e escolha Allow ou Block na coluna Action de cada crawler. A Cloudflare diz que bloquear ali cria ou atualiza uma regra personalizada do WAF na sua zona.

Se o que bloqueia o crawler é uma regra personalizada do WAF, o Super Bot Fight Mode ou a limitação de taxa, adicione uma regra personalizada que pule esses recursos para bots verificados e para o token do crawler:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Coloque a regra em primeiro lugar. Note que usar o user agent como critério também deixa passar quem falsifica esse user agent. Sempre que possível, prefira o campo de bot verificado (cf.client.bot) ou as faixas de IP que o fornecedor publica.

E o Bot Fight Mode?

A documentação da Cloudflare é explícita: o Bot Fight Mode não pode ser contornado nem ignorado com regras personalizadas do WAF ou Page Rules. Se ele é o recurso que desafia os crawlers, uma regra de skip não ajuda. As opções são desativar o Bot Fight Mode ou usar o Super Bot Fight Mode em um plano que o tenha, que roda no Ruleset Engine e aceita regras de skip.

Quais crawlers devo deixar passar?

Separe os crawlers pelo que fazem. Crawlers de busca e de acesso a pedido do usuário decidem se as respostas de IA conseguem encontrar e citar você. Crawlers de treinamento coletam dados para modelos, e bloqueá-los é uma escolha legítima que não tira você da busca com IA.

Busca: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
Acessos a pedido do usuário: ChatGPT-User, Claude-User, Perplexity-User.
Treinamento: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

As próprias configurações de política da Cloudflare usam a mesma divisão em Search, Agent e Training, então você pode liberar as duas primeiras e decidir separadamente sobre a terceira. Se você usa outro firewall ou CDN, o princípio é o mesmo: coloque o token do crawler em uma lista de permissão, verificado pelas faixas de IP publicadas pelo fornecedor ou por DNS reverso quando houver, para que ele receba a mesma resposta que um navegador.

Como a AISeeWhy detecta bloqueios de firewall?

A AISeeWhy pede sua página como 14 crawlers e um navegador comum, compara status, tamanho e redirecionamentos, reconhece páginas de desafio e informa o nome do firewall ou da CDN que respondeu. Quando o robots.txt permite um crawler mas o servidor o bloqueia, o relatório mostra o conflito e indica a regra da Cloudflare ou o passo de lista de permissão para corrigir.

Perguntas frequentes

A Cloudflare bloqueia crawlers de IA por padrão?

Depende da sua conta, do plano e das configurações da sua zona, e a Cloudflare mudou essas opções ao longo do tempo. Verifique o AI Crawl Control e suas configurações de bots, e teste com o user agent do crawler em vez de presumir.

Por que meu site funciona no navegador, mas não para crawlers?

Os firewalls avaliam cada requisição. Um navegador passa por desafios de JavaScript e guarda cookies; um crawler não, então pode receber uma página de desafio ou um 403 que você nunca vê.

É seguro liberar crawlers de IA no WAF?

Liberar um crawler específico tem risco baixo se você o verifica pelas faixas de IP do fornecedor ou pelo sinal de bot verificado da Cloudflare. Regras que confiam só no user agent também deixam entrar quem o copia.

O recurso de ofuscação de e-mail da Cloudflare afeta os crawlers de IA?

Ele troca os endereços de e-mail por um link que só um script decodifica, então os crawlers veem um marcador no lugar do endereço. Se você quer que seu e-mail de contato seja legível, desative o Email Address Obfuscation em Scrape Shield e mostre o endereço como texto simples.