Quatro em cada dez sites empresariais recusam crawlers de IA
Em nossas auditorias de 165 sites empresariais dos EUA, do Reino Unido e da França, 38% recusaram no servidor pelo menos um crawler de IA, quase sempre um bot de treinamento ou de scraping. Cerca de um site em dez também recusou um crawler de busca de IA, como PerplexityBot ou OAI-SearchBot, os crawlers que podem levar a uma citação. Verifique o seu com uma requisição por crawler.
Você pergunta ao ChatGPT sobre o seu próprio produto e ele cita um concorrente, um site de avaliações e um tópico de fórum. Às vezes é uma questão de conteúdo. Muitas vezes é um firewall respondendo não aos crawlers de IA, algo que ninguém da sua equipe viu, porque o site funciona no navegador.
Neste artigo
O que testamos?
Pedimos uma página várias vezes a partir do mesmo endereço: uma vez como um navegador comum e uma vez como cada um de 14 crawlers de IA e de busca, incluindo GPTBot, OAI-SearchBot e ChatGPT-User da OpenAI, ClaudeBot e Claude-SearchBot da Anthropic e PerplexityBot da Perplexity. Se o navegador recebe a página e um crawler recebe 401, 403, 406, 429, 451, 503 ou uma página de desafio, o site está recusando esse crawler.
A amostra é de 218 sites empresariais dos EUA, do Reino Unido e da França, auditados de 18 a 21 de novembro de 2026. Conseguimos executar o teste completo em 165. Os outros 53 recusaram até a nossa requisição simples de navegador ou não responderam, e por isso os deixamos de fora em vez de adivinhar.
O que encontramos?
- 38% dos sites testáveis (63 de 165) recusaram pelo menos um crawler de IA.
- Todos esses sites recusaram pelo menos um crawler de treinamento ou de scraping.
Bytespiderfoi recusado por 35% de todos os sites,ClaudeBotpor 13% eGPTBotpor 11%. - 10% dos sites (16) também recusaram pelo menos um crawler de busca de IA, e 5% (8) recusaram um crawler que abre uma página em tempo real quando uma pessoa pergunta sobre ela ao assistente.
- Os crawlers de busca que mais pesaram foram
PerplexityBot(11 sites) eOAI-SearchBot(5 sites). - A Cloudflare estava por trás de 32 dos 66 sites que recusaram algum crawler testado. Em outros 30, não conseguimos saber qual firewall respondeu.
Por que isso acontece e quando é uma escolha?
Boa parte disso provavelmente é deliberada. Muitos donos não querem que seu conteúdo seja usado para treinar modelos, e as configurações de proteção contra bots que bloqueiam scrapers são fáceis de ativar. Essa é uma escolha legítima.
O problema é que as empresas de IA mantêm crawlers separados para treinamento e para busca. Bloquear o crawler de treinamento não exige bloquear o de busca, e o crawler de busca é o que pode levar à citação da sua página em uma resposta.
Os maiores sites se saem melhor?
Na verdade, não. No nosso relatório de robots.txt sobre os 1.000 domínios mais populares, 29,9% dos sites com robots.txt bloqueiam pelo menos um crawler de treinamento de IA, e 63,2% deles também bloqueiam pelo menos um crawler de busca ou de usuário de IA. Apenas 11,0% bloqueiam o treinamento e permitem todos os crawlers de busca de IA, que provavelmente era a configuração que a maioria queria.
Como verifico o meu site em dez minutos?
- Abra
yoursite.com/robots.txt. Para cada crawler de IA que lhe interessa, veja se algum grupo o cita e o que esse grupo diz. Um grupo que cita um crawler substitui por completo o grupo geral*. - Teste o que o servidor faz, não o que o arquivo diz. Peça a sua página principal como navegador e como crawler. Um 403, um 429, uma página com o título
Just a moment...ou uma resposta muito menor que a do navegador é a assinatura de um bloqueio de firewall. - Pergunte ao assistente. Com a busca ativada, faça ao ChatGPT ou ao Perplexity as perguntas que os seus compradores fazem e veja quais sites ele cita. Se o acesso está certo e você continua ausente, o problema é o conteúdo, não o acesso.
Qual a confiabilidade desses números?
Trate-os como um padrão, não como um censo. A amostra não é aleatória: são empresas encontradas em bibliotecas de anúncios, sites de vagas e listagens de mapas. Testamos por user agent a partir de um único endereço, enquanto os crawlers reais vêm dos endereços que seus fornecedores publicam, então alguns firewalls tratariam os reais de outra forma. E um bloqueio nem sempre é um erro.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
Que parcela dos sites bloqueia crawlers de IA?
Na nossa auditoria de 165 sites empresariais testáveis, 38% recusaram no servidor pelo menos um crawler de IA, em sua maioria bots de treinamento e de scraping. Cerca de 10% também recusaram um crawler de busca de IA.
Bloquear o GPTBot tira meu site da busca do ChatGPT?
Não. A OpenAI afirma que cada configuração de robots.txt para seus crawlers é independente: o GPTBot se refere ao treinamento e o OAI-SearchBot à busca do ChatGPT. Bloquear um não bloqueia o outro.
Como um site pode bloquear um crawler sem o robots.txt?
Um firewall, uma CDN ou uma regra de proteção contra bots pode responder a um crawler com um 403, um 429 ou uma página de desafio. O robots.txt nunca mostra isso, então é preciso testar pedindo a página como o crawler.
Recusar um crawler é sempre um erro?
Não. Muitos donos querem manter de fora os crawlers de treinamento e os scrapers. O erro é bloquear crawlers de busca por acidente, porque são eles que podem citar a sua página.
Fontes
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)