Quatro em cada dez sites empresariais recusam crawlers de IA

Publicado em

Resposta curta

Em nossas auditorias de 165 sites empresariais dos EUA, do Reino Unido e da França, 38% recusaram no servidor pelo menos um crawler de IA, quase sempre um bot de treinamento ou de scraping. Cerca de um site em dez também recusou um crawler de busca de IA, como PerplexityBot ou OAI-SearchBot, os crawlers que podem levar a uma citação. Verifique o seu com uma requisição por crawler.

Você pergunta ao ChatGPT sobre o seu próprio produto e ele cita um concorrente, um site de avaliações e um tópico de fórum. Às vezes é uma questão de conteúdo. Muitas vezes é um firewall respondendo não aos crawlers de IA, algo que ninguém da sua equipe viu, porque o site funciona no navegador.

Neste artigo
  1. O que testamos?
  2. O que encontramos?
  3. Por que isso acontece e quando é uma escolha?
  4. Os maiores sites se saem melhor?
  5. Como verifico o meu site em dez minutos?
  6. Qual a confiabilidade desses números?

O que testamos?

Pedimos uma página várias vezes a partir do mesmo endereço: uma vez como um navegador comum e uma vez como cada um de 14 crawlers de IA e de busca, incluindo GPTBot, OAI-SearchBot e ChatGPT-User da OpenAI, ClaudeBot e Claude-SearchBot da Anthropic e PerplexityBot da Perplexity. Se o navegador recebe a página e um crawler recebe 401, 403, 406, 429, 451, 503 ou uma página de desafio, o site está recusando esse crawler.

A amostra é de 218 sites empresariais dos EUA, do Reino Unido e da França, auditados de 18 a 21 de novembro de 2026. Conseguimos executar o teste completo em 165. Os outros 53 recusaram até a nossa requisição simples de navegador ou não responderam, e por isso os deixamos de fora em vez de adivinhar.

O que encontramos?

Por que isso acontece e quando é uma escolha?

Boa parte disso provavelmente é deliberada. Muitos donos não querem que seu conteúdo seja usado para treinar modelos, e as configurações de proteção contra bots que bloqueiam scrapers são fáceis de ativar. Essa é uma escolha legítima.

O problema é que as empresas de IA mantêm crawlers separados para treinamento e para busca. Bloquear o crawler de treinamento não exige bloquear o de busca, e o crawler de busca é o que pode levar à citação da sua página em uma resposta.

Os maiores sites se saem melhor?

Na verdade, não. No nosso relatório de robots.txt sobre os 1.000 domínios mais populares, 29,9% dos sites com robots.txt bloqueiam pelo menos um crawler de treinamento de IA, e 63,2% deles também bloqueiam pelo menos um crawler de busca ou de usuário de IA. Apenas 11,0% bloqueiam o treinamento e permitem todos os crawlers de busca de IA, que provavelmente era a configuração que a maioria queria.

Como verifico o meu site em dez minutos?

  1. Abra yoursite.com/robots.txt. Para cada crawler de IA que lhe interessa, veja se algum grupo o cita e o que esse grupo diz. Um grupo que cita um crawler substitui por completo o grupo geral *.
  2. Teste o que o servidor faz, não o que o arquivo diz. Peça a sua página principal como navegador e como crawler. Um 403, um 429, uma página com o título Just a moment... ou uma resposta muito menor que a do navegador é a assinatura de um bloqueio de firewall.
  3. Pergunte ao assistente. Com a busca ativada, faça ao ChatGPT ou ao Perplexity as perguntas que os seus compradores fazem e veja quais sites ele cita. Se o acesso está certo e você continua ausente, o problema é o conteúdo, não o acesso.

Qual a confiabilidade desses números?

Trate-os como um padrão, não como um censo. A amostra não é aleatória: são empresas encontradas em bibliotecas de anúncios, sites de vagas e listagens de mapas. Testamos por user agent a partir de um único endereço, enquanto os crawlers reais vêm dos endereços que seus fornecedores publicam, então alguns firewalls tratariam os reais de outra forma. E um bloqueio nem sempre é um erro.

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

Que parcela dos sites bloqueia crawlers de IA?

Na nossa auditoria de 165 sites empresariais testáveis, 38% recusaram no servidor pelo menos um crawler de IA, em sua maioria bots de treinamento e de scraping. Cerca de 10% também recusaram um crawler de busca de IA.

Bloquear o GPTBot tira meu site da busca do ChatGPT?

Não. A OpenAI afirma que cada configuração de robots.txt para seus crawlers é independente: o GPTBot se refere ao treinamento e o OAI-SearchBot à busca do ChatGPT. Bloquear um não bloqueia o outro.

Como um site pode bloquear um crawler sem o robots.txt?

Um firewall, uma CDN ou uma regra de proteção contra bots pode responder a um crawler com um 403, um 429 ou uma página de desafio. O robots.txt nunca mostra isso, então é preciso testar pedindo a página como o crawler.

Recusar um crawler é sempre um erro?

Não. Muitos donos querem manter de fora os crawlers de treinamento e os scrapers. O erro é bloquear crawlers de busca por acidente, porque são eles que podem citar a sua página.

Fontes

Mais artigos