Por que meu site de repente está bloqueando crawlers de IA?
Um site que começa a bloquear crawlers de IA quase sempre mudou em um destes cinco lugares: o robots.txt que é de fato servido, uma configuração da CDN como as políticas de crawlers de IA da Cloudflare, a proteção contra bots ou um limite de taxa, um padrão da hospedagem ou um robots.txt que agora responde com erro. Busque o robots.txt de hoje e uma página como cada crawler, compare com um navegador e com o que você tinha antes, e verifique essas camadas nessa ordem.
Ninguém decide sumir das respostas de IA. Isso acontece como efeito colateral de uma atualização de tema, uma configuração de segurança, uma migração ou um padrão alterado em um fornecedor. Um navegador continua vendo o site normalmente, então a mudança pode passar despercebida até alguém perguntar ao ChatGPT ou à Perplexity sobre o produto e receber um concorrente. Cada camada deixa rastros que você pode verificar de fora ou nos seus logs.
Neste artigo
- O robots.txt que os crawlers recebem mudou?
- As políticas de crawlers de IA da Cloudflare em 2026 mudaram o que meu site permite?
- A proteção contra bots ou um limite de taxa está pegando os crawlers?
- Minha hospedagem mudou os padrões?
- O robots.txt está respondendo com erro?
- Como descobrir quando isso começou?
- Como perceber isso mais cedo da próxima vez?
O robots.txt que os crawlers recebem mudou?
Busque https://yourdomain.com/robots.txt e compare com o arquivo no seu repositório ou backup. Olhe o arquivo servido, não o que está no disco, porque várias camadas podem alterá-lo no caminho:
- Um deploy publica um robots.txt de staging com
Disallow: /, ou uma migração deixa no lugar um padrão da plataforma. - Uma configuração do criador de sites adiciona regras para crawlers de IA. O Squarespace, por exemplo, tem a opção Block known artificial intelligence crawlers, que grava 26 nomes de bots no robots.txt e avisa que mais nomes podem ser adicionados com o tempo. Ela vem desativada, então alguém precisa ativá-la, mas a lista pode crescer depois.
- Uma atualização de plugin de SEO ou de segurança grava regras novas, ou adiciona uma opção nova que alguém ativa.
- A Cloudflare coloca o robots.txt gerenciado dela antes do seu arquivo quando o Bot Preference Sync está ativado e uma política de IA está em Block ou Disallow. O arquivo servido passa a começar com
Disallow: /paraClaudeBot,GPTBote outros seis tokens de treinamento, embora o seu arquivo não tenha mudado. - Uma regra pensada para um crawler de treinamento foi copiada para outros, incluindo crawlers de busca como
OAI-SearchBot,Claude-SearchBotouPerplexityBot.
O relatório de robots.txt do Google Search Console mostra as versões que o Google buscou nos últimos 30 dias, com uma nova entrada a cada vez que o arquivo ou o resultado da busca mudou. Ele cobre só o que o Google viu, mas, a menos que o seu servidor varie o robots.txt conforme o user agent, os crawlers de IA receberam o mesmo arquivo.
As políticas de crawlers de IA da Cloudflare em 2026 mudaram o que meu site permite?
A Cloudflare mudou várias vezes os controles de crawlers de IA, e algumas mudanças alteram o que uma zona faz sem que ninguém a edite. Em 1º de julho de 2025, ela passou a perguntar a novos domínios, no cadastro, se queriam permitir crawlers de IA, com o bloqueio como estado inicial. Em 1º de julho de 2026, ela substituiu a chave única Block AI bots por políticas separadas de Search, Agent e Training, em todos os planos, inclusive o Free.
O detalhe que pega a maioria dos sites são os crawlers de uso misto. A documentação da Cloudflare diz que as ações de Training também se aplicam a crawlers usados tanto para busca quanto para treinamento. O anúncio de julho de 2026 dizia que, a partir de 15 de setembro de 2026, crawlers multiuso como Googlebot, Applebot e BingBot seriam bloqueados para os clientes que escolheram bloquear Training, seja pelas novas opções, seja pela configuração antiga Block AI bots. Assim, uma recusa de treinamento definida há um ano pode agora atingir crawlers de busca.
Os padrões para novos domínios foram descritos de formas diferentes ao longo do tempo. O mesmo anúncio dizia que novos domínios teriam Training e Agent bloqueados em páginas que exibem anúncios a partir de 15 de setembro de 2026, enquanto a documentação da política atualizada em 2 de novembro de 2026 diz que novos domínios começam com as três em Allow. Abra Security, depois Settings, filtre por Bot traffic e leia AI Crawler and Agent access policies da sua própria zona. Nosso guia sobre o AI Crawl Control da Cloudflare explica cada configuração.
A proteção contra bots ou um limite de taxa está pegando os crawlers?
A proteção contra bots avalia cada requisição, e os crawlers buscam muitas páginas rapidamente a partir de data centers, que é exatamente o que bots fazem. Um crawler que passava no mês passado pode começar a receber páginas de desafio depois que o operador muda as faixas de IP ou o ritmo de rastreamento, ou depois que as regras de proteção são atualizadas. O Bot Fight Mode da Cloudflare é uma causa comum, e a Cloudflare diz que ele não pode ser contornado nem ignorado com regras personalizadas do WAF ou Page Rules, então uma regra de liberação adicionada depois não ajuda enquanto ele estiver ativado. Um novo limite de taxa que responde a picos com 429 tem o mesmo efeito sobre um crawler movimentado.
Teste de fora: solicite uma página como navegador e como dois crawlers de busca de IA, depois solicite o robots.txt como crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Um 403, 429 ou 503 só para um crawler, uma página com o título Just a moment... ou um corpo bem menor que o do navegador significa que o crawler está sendo tratado de forma diferente. O teste sai do seu IP, não do fornecedor, então regras baseadas no status de bot verificado ainda podem tratar o crawler real de outro jeito. O log de eventos do firewall mostra qual regra respondeu.
Minha hospedagem mudou os padrões?
Algumas hospedagens filtram o tráfego de IA no servidor, antes que as suas próprias regras rodem. A SiteGround, por exemplo, escreveu em agosto de 2025 que bloqueia por padrão crawlers de IA feitos para coletar dados de treinamento e permite crawlers que visitam quando uma pessoa pergunta a um assistente de IA sobre uma página. Regras assim não aparecem no seu robots.txt e podem mudar quando a hospedagem atualiza as listas de bots.
Se um bloqueio aparece ao mesmo tempo em vários sites da mesma hospedagem, ou em respostas que nunca chegam aos logs da sua aplicação, pergunte à hospedagem quais regras de bots se aplicam à sua conta e se dá para isentar os crawlers que você quer manter.
O robots.txt está respondendo com erro?
Um robots.txt que falha pode bloquear mais que qualquer linha Disallow. Pela RFC 9309, uma resposta 4xx significa que o crawler pode buscar tudo, mas um erro de servidor (5xx) ou nenhuma resposta significa que ele deve presumir que o site inteiro está bloqueado. O Google para de rastrear nas primeiras 12 horas desses erros e depois usa a última cópia válida por até 30 dias.
É assim que um pico de carga, uma regra de firewall que desafia /robots.txt ou um limite de taxa que o inclui podem barrar crawlers bem-comportados sem que nenhuma regra mude. O último comando do teste acima deve retornar 200 e text/plain. Um 5xx, um timeout ou uma página de desafio ali é a primeira coisa a corrigir.
Como descobrir quando isso começou?
Uma data transforma um mistério em uma comparação. Nos logs de acesso, filtre as requisições com user agents de crawlers de IA e procure o dia em que os códigos de status passaram de 200 para 403, 429 ou 503, ou o dia em que eles pararam de solicitar páginas depois de ler o robots.txt; nosso guia sobre como verificar crawlers de IA nos logs do servidor traz os comandos. Requisições que a CDN bloqueou nunca chegam à origem, então verifique a CDN também. Na Cloudflare, o AI Crawl Control mostra a distribuição dos códigos de status ao longo do tempo, com filtro por crawler.
Depois, alinhe essa data com deploys, atualizações de plugins e temas, mudanças na configuração da CDN e anúncios de fornecedores. Antes de agir, confirme que os IPs de origem pertencem ao fornecedor, para ter certeza de que você está olhando o crawler real e não um impostor usando o nome dele.
Como perceber isso mais cedo da próxima vez?
Verifique o acesso depois de cada deploy, mudança na CDN e atualização de plugin, não só quando o tráfego cai. A verificação gratuita da AISeeWhy busca uma página como 16 crawlers de IA e de busca ao lado de um navegador real, aplica o seu robots.txt por crawler e reconhece páginas de desafio de firewall. O verificador de robots.txt gratuito mostra, por crawler, se uma página pode ser buscada de acordo com o arquivo que está no ar hoje.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificação de IP de crawlers de IA
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
Por que o ChatGPT parou de mostrar meu site?
Muitas vezes porque o OAI-SearchBot, o crawler por trás da busca do ChatGPT, passou a ser bloqueado por uma mudança no robots.txt, uma política da CDN ou a proteção contra bots. A OpenAI diz que sites que o bloqueiam não aparecem nas respostas de busca do ChatGPT. Verifique cada camada para esse crawler e espere cerca de 24 horas depois de corrigir o robots.txt, que é o tempo que a OpenAI diz que seus sistemas levam para se ajustar.
A Cloudflare começou a bloquear o Googlebot no meu site?
Pode acontecer. A Cloudflare disse que, a partir de 15 de setembro de 2026, clientes que bloqueiam Training também bloqueiam crawlers multiuso como Googlebot, Applebot e BingBot. A documentação dela diz que a opção Training Disallow bloqueia crawlers de treinamento na borda, mas deixa de fora os crawlers de uso misto, então verifique qual opção a sua zona usa.
Um criador de sites ou plugin pode mudar o robots.txt por mim?
Sim. Criadores de sites e plugins de SEO ou segurança podem gravar regras para crawlers de IA no robots.txt, e alguns ampliam as listas de bots com o tempo. Depois de cada atualização, busque o arquivo que está no ar e leia os grupos que se aplicam aos crawlers de busca que importam para você.
Por que o robots.txt no ar é diferente do arquivo no meu servidor?
Algo na frente do seu servidor está alterando o arquivo. O robots.txt gerenciado da Cloudflare, por exemplo, coloca as próprias regras e sinais de conteúdo antes do seu arquivo, na mesma resposta. Um CMS que gera o robots.txt a cada requisição, ou uma configuração da hospedagem, também pode substituí-lo ou ampliá-lo.
Quanto tempo até os crawlers de IA voltarem depois que eu corrigir?
A RFC 9309 diz que os crawlers não devem usar um robots.txt em cache por mais de 24 horas, a OpenAI fala em cerca de 24 horas e a Perplexity em até 24 horas. Mudanças no firewall valem assim que o fornecedor as aplica, mas os crawlers voltam no ritmo deles.
Fontes
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers