Como ler o relatório AI Crawl Control da Cloudflare e ver quais crawlers de IA entram
Abra o AI Crawl Control no painel da Cloudflare: a lista de crawlers mostra todos os crawlers de IA que a Cloudflare viu no seu domínio, as solicitações de cada um, as violações do robots.txt e se a ação é Allow ou Block. Para manter a busca com IA e recusar o treinamento, libere os crawlers de busca e de agente e bloqueie ou desautorize os de treinamento ali ou nas AI Crawler and Agent access policies. Depois confirme de fora com curl, porque outros recursos da Cloudflare ainda podem bloquear um crawler que você liberou.
A Cloudflare agora tem dois lugares que decidem o que os crawlers de IA recebem: o AI Crawl Control, o relatório e painel de controle por crawler que antes se chamava AI Audit, e as AI Crawler and Agent access policies, que valem para a zona inteira e ficam nas configurações de Security. Os dois estão disponíveis no plano Free, os dois mudaram em 2026, e nenhum deles avisa sobre todos os outros recursos que ainda podem responder a um crawler com um 403. Este guia percorre o relatório coluna por coluna, mostra onde definir liberação e bloqueio e termina com um teste que você pode rodar na sua própria máquina.
Neste artigo
- Onde fica o relatório de crawlers de IA na Cloudflare?
- O que significa cada coluna e métrica do relatório AI Crawl Control?
- Como libero crawlers de busca com IA e bloqueio crawlers de treinamento na Cloudflare?
- O que mudou nos padrões da Cloudflare para crawlers de IA?
- Por que a Cloudflare ainda bloqueia crawlers de IA depois que eu os liberei?
- Como confirmo de fora quais crawlers de IA a Cloudflare deixa entrar?
- Como a AISeeWhy verifica o que a Cloudflare envia aos crawlers de IA?
Onde fica o relatório de crawlers de IA na Cloudflare?
No painel, selecione sua conta e seu domínio e abra o AI Crawl Control. A Cloudflare diz que ele funciona sem configuração e está disponível em todos os planos, desde que o tráfego do domínio passe pelo proxy da Cloudflare. Ele tem quatro áreas:
- Overview: um resumo executivo com o total de solicitações, a variação de volume, o código de status mais comum, o caminho mais acessado e os crawlers de maior volume, além de mostrar se o robots.txt gerenciado da Cloudflare está ativo e os crawlers agrupados por operador, como OpenAI, Microsoft, Google, ByteDance, Anthropic e Meta.
- A lista de crawlers: uma linha por crawler de IA, com uma coluna Action em que você escolhe Allow ou Block. A documentação da Cloudflare chama essa aba de Crawlers em uma página e de Security em outra, então procure a tabela com a coluna Action.
- Metrics: solicitações ao longo do tempo, distribuição de códigos de status, formato do conteúdo, caminhos mais acessados e, nos planos pagos, referências. Os filtros cobrem período, crawler, operador, hostname e caminho, e você pode exportar um CSV.
- Directives: a saúde do seu arquivo robots.txt e a lista de violações do robots.txt.
Dois limites de plano importam na leitura dos números. No plano Free, o AI Crawl Control reconhece crawlers só pela string de user agent, então vê apenas os crawlers que se identificam, e a aba Metrics cobre as últimas 24 horas. Os planos pagos acrescentam a detecção pelo ID de detecção do Bot Management, e o Enterprise com Bot Management tem períodos configuráveis.
O que significa cada coluna e métrica do relatório AI Crawl Control?
A Cloudflare documenta os campos assim. As definições importam, porque vários números contam mais do que você imaginaria.
- Crawler e Category: o nome do crawler, o operador e a categoria, como AI crawler, AI assistant ou archiver.
- Requests: solicitações permitidas mais as sem sucesso, com um gráfico de tendência. As sem sucesso podem vir de qualquer regra ou erro de resposta, não só de um bloqueio do AI Crawl Control; por isso, um número alto para um crawler que você liberou aponta para outra regra ou para erros na sua origem.
- Allowed requests: solicitações que receberam um status entre 200 e 299. A transferência de dados é medida pelos bytes que a Cloudflare enviou nas solicitações permitidas.
- Robots.txt violations: quantas vezes o crawler pediu um caminho que o seu robots.txt bloqueia. A Cloudflare compara solicitações passadas com as regras atuais, então uma regra adicionada hoje pode marcar solicitações que eram permitidas quando foram feitas.
- Action: Allow, Block ou, para contas na beta do pay per crawl, Charge.
- Distribuição de códigos de status: 2xx, 3xx, 4xx e 5xx. O grupo 4xx inclui 403 de bloqueios e 402 do pay per crawl.
- Referrals e principais referenciadores, só nos planos pagos: visitas vindas de serviços de IA, por exemplo de chatgpt.com, e as páginas em que chegaram.
Leia o relatório a partir da ação que você escolheu. Um crawler em Allow deve mostrar sobretudo solicitações permitidas e códigos 2xx. Se ele mostrar muitas solicitações sem sucesso, abra a distribuição de códigos de status filtrada para esse crawler e consulte o Security Analytics para encontrar a regra que respondeu.
Como libero crawlers de busca com IA e bloqueio crawlers de treinamento na Cloudflare?
Você pode fazer isso por crawler ou por comportamento. Por crawler, abra o AI Crawl Control e defina a Action de cada linha. A Cloudflare diz que bloquear ali cria ou atualiza uma regra personalizada do WAF na sua zona, que você pode ampliar no WAF com exceções de caminho. Nos planos pagos, você escolhe se os crawlers bloqueados recebem 403 ou 402 e define um corpo em texto simples.
Por comportamento, vá em Security, depois Settings, filtre por Bot traffic e abra AI Crawler and Agent access policies. A Cloudflare divide o tráfego de IA em três comportamentos, e cada política vale para os bots verificados com esse comportamento e para os bots não verificados correspondentes:
- Search: coletar ou indexar conteúdo para responder a perguntas depois.
- Agent: agir em tempo real em nome de uma pessoa, como buscas feitas por chats e agentes de navegador.
- Training: coletar conteúdo para treinar ou ajustar modelos, incluindo crawlers usados tanto para treinamento quanto para busca.
Cada comportamento pode ficar em Block, Block on pages with ads ou Allow (do not block). Training também tem Disallow, que só faz o pedido aos crawlers pelo robots.txt. Com o Bot Preference Sync ativado, a Cloudflare insere no início do seu robots.txt regras gerenciadas que bloqueiam Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot e meta-externalagent, adiciona uma linha Content Signals e também bloqueia crawlers de treinamento de IA na borda, exceto os usados para busca e treinamento ao mesmo tempo.
Para a maioria dos sites que querem citações em IA, a combinação segura é Search e Agent em Allow e Training em Disallow, e depois ações Block individuais no AI Crawl Control para os crawlers só de treinamento que você quer barrar na borda.
O que mudou nos padrões da Cloudflare para crawlers de IA?
Em 1º de julho de 2025, a Cloudflare anunciou que passaria a bloquear crawlers de IA por padrão, a menos que paguem aos criadores. Em 1º de julho de 2026, substituiu o botão único Block AI bots pelas políticas separadas Search, Agent e Training descritas acima, para todos os planos, inclusive o Free. O mesmo anúncio dizia que domínios novos cadastrados a partir de 15 de setembro de 2026 teriam Training e Agent bloqueados em páginas com anúncios, com Search liberado.
A documentação atual de políticas da Cloudflare, atualizada pela última vez em 2 de novembro de 2026, diz que domínios novos vêm com Allow (do not block) nos três comportamentos. Como as próprias páginas da Cloudflare já descreveram padrões diferentes em momentos diferentes, não confie em nenhuma delas para a sua zona: abra a página de políticas e veja o que está configurado.
Por que a Cloudflare ainda bloqueia crawlers de IA depois que eu os liberei?
A ação Allow no AI Crawl Control só impede que o próprio AI Crawl Control bloqueie. Outros recursos continuam agindo sobre a solicitação. Causas comuns:
- Bloquear Training também bloqueia crawlers de busca que fazem as duas coisas. A documentação da Cloudflare diz que as ações de Training valem para crawlers de uso misto, e o anúncio de julho de 2026 cita Googlebot, Applebot e bingbot como crawlers que os clientes que bloqueiam Training vão bloquear a partir de 15 de setembro de 2026. Disallow é a opção mais restrita, porque o bloqueio na borda dele ignora crawlers de uso misto.
- O Bot Fight Mode está ativo. A Cloudflare afirma que não é possível contornar nem pular o Bot Fight Mode com regras personalizadas do WAF ou Page Rules. Se ele desafiar um crawler, desative-o ou, em um plano que tenha, use o Super Bot Fight Mode, que aceita regras de exceção.
- Uma regra personalizada antiga do WAF bloqueia user agents que contêm
bot, ou uma regra de rate limiting responde a picos com 429. Elas rodam independentemente da Action no AI Crawl Control. - A regra de bloqueio foi editada à mão. Se a regra do WAF por trás do AI Crawl Control foi alterada para outro código de resposta, o painel não consegue mais aplicar a sua escolha.
- O robots.txt ainda bloqueia o crawler. O Allow da Cloudflare não muda o seu robots.txt, então um crawler bem-comportado continua longe. No nosso estudo dos 1.000 domínios mais populares, 98 dos 155 sites que bloqueavam um crawler de treinamento de IA no robots.txt também bloqueavam pelo menos um crawler de busca ou de usuário de IA.
Como confirmo de fora quais crawlers de IA a Cloudflare deixa entrar?
Solicite a mesma página com um user agent de navegador e com o user agent de cada crawler e compare status e tamanho. As strings da OpenAI, da Perplexity e do Google abaixo são as que essas empresas publicam.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Uma linha de crawler com 403, 429 ou 503, ou com tamanho bem menor que a linha do navegador, significa que algo na frente da sua origem respondeu de outro jeito. No plano Free, o AI Crawl Control detecta crawlers pelo user agent, então este teste é uma boa verificação dos bloqueios dele. Regras baseadas no status de bot verificado ou em pontuações de bot podem tratar sua solicitação de forma diferente do crawler real, porque ela vem do seu endereço IP e não das faixas publicadas pelo operador. Depois do teste, procure suas próprias solicitações no Security Analytics para ver qual regra correspondeu.
Como a AISeeWhy verifica o que a Cloudflare envia aos crawlers de IA?
A verificação gratuita da AISeeWhy solicita sua página como 16 crawlers de IA e de busca ao lado de um navegador real, aplica o seu robots.txt por crawler e reconhece páginas de desafio de firewall, para você ver se o resultado no painel da Cloudflare corresponde ao que os crawlers realmente recebem.
Correções para este problema
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificação de IP de crawlers de IA
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
O AI Crawl Control da Cloudflare é grátis?
Sim. A Cloudflare lista o AI Crawl Control como disponível em todos os planos. O plano Free detecta crawlers só pelo user agent e mostra as últimas 24 horas em Metrics; dados de referência e respostas de bloqueio personalizadas exigem um plano pago.
O que aconteceu com o AI Audit da Cloudflare?
Ele mudou de nome. A documentação da Cloudflare descreve o AI Crawl Control como o antigo AI Audit, com o mesmo objetivo: ver quais crawlers de IA visitam o site e definir uma ação para cada um.
Bloquear um crawler no AI Crawl Control altera meu robots.txt?
Não. Uma ação Block cria ou atualiza uma regra personalizada do WAF. O robots.txt só muda se você usar a opção Disallow para Training com o Bot Preference Sync, que insere as regras gerenciadas da Cloudflare no início do seu arquivo.
O que conta como violação do robots.txt na Cloudflare?
Uma solicitação de um crawler de IA a um caminho que o seu robots.txt bloqueia. A Cloudflare compara solicitações passadas com as regras atuais, então uma regra nova pode marcar solicitações antigas que eram permitidas na época.
O que é o pay per crawl?
Uma ação Charge que pede aos crawlers de IA que paguem por solicitação e, caso contrário, responde com HTTP 402 e um preço. A Cloudflare o descreve como uma beta fechada, e bloqueios do WAF ou do Bot Management têm prioridade sobre ele.
Fontes
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Relatório de acesso de crawlers de IA, 2026-11