Lemos o robots.txt dos 10.000 sites mais populares. Veja o que eles fazem com os crawlers de IA
Dos 6.192 domínios do top 10.000 do Tranco que servem um robots.txt, 23,2% bloqueiam pelo menos um crawler de treinamento de IA e 12,3% bloqueiam pelo menos um crawler de busca ou de usuário de IA. 51,6% dos sites que bloqueiam o treinamento também bloqueiam a busca de IA. Só 11,2% recusam o treinamento e permitem todos os crawlers de busca de IA.
Em novembro lemos o robots.txt dos 1.000 domínios mais populares. Desta vez lemos 10.000, com o mesmo método, e acrescentamos uma verificação de como o quadro muda à medida que os sites ficam menores. A conclusão principal se mantém: bloquear o treinamento e bloquear a busca são tratados como uma só decisão, embora sejam duas.
Neste artigo
Como medimos?
Pegamos os 10.000 principais domínios da lista Tranco (ID da lista JZWZY) e buscamos a página inicial, o robots.txt e o llms.txt de cada domínio uma vez, em 21 de novembro de 2026, com o user agent do próprio AISeeWhy. Avaliamos cada robots.txt pela RFC 9309 para a página inicial (/) e para 16 crawlers de IA e de busca.
6.192 dos 10.000 domínios serviram um robots.txt (uma resposta bem-sucedida que não é uma página HTML). 1.121 responderam com um 4xx, o que significa nenhuma regra e todos os crawlers permitidos, e 2.687 não serviram um (sem site HTTPS, erros, timeouts ou uma página HTML no lugar). Todas as porcentagens abaixo são sobre os 6.192. A lista inclui CDNs e APIs que não servem site algum.
O que encontramos?
- 23,2% (1.437 domínios) bloqueiam pelo menos um crawler de treinamento de IA.
- 12,3% (762) bloqueiam pelo menos um crawler de busca ou de usuário de IA, de modo que as páginas não deveriam ser usadas nem citadas pelas respostas que dependem dele.
- 51,6% dos domínios que bloqueiam um crawler de treinamento (742 de 1.437) também bloqueiam pelo menos um crawler de busca ou de usuário de IA.
- Só 11,2% (695) seguem o caminho seletivo: bloqueiam os crawlers de treinamento e permitem todos os crawlers de busca e de usuário de IA.
- 6,5% (401) declaram suas preferências sobre IA com
Content-Signal. - 12,4% de todos os 10.000 domínios (1.240) publicam um
llms.txt. - Para comparação, 2,0% (124) bloqueiam o
Googlebotna página inicial.
Quais crawlers são mais bloqueados?
Parcela dos 6.192 domínios cujo robots.txt proíbe a página inicial para o crawler:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% é o crawler de busca de IA mais bloqueado, à frente deOAI-SearchBot7,0% eClaude-SearchBot7,0%.- Os crawlers que abrem uma página quando uma pessoa pede:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Os sites maiores bloqueiam mais?
Sim, e confundem treinamento e busca com mais frequência. Dividimos a lista por posição:
- Posições 1 a 1.000 (560 domínios com robots.txt): 28,6% bloqueiam o treinamento, 18,6% bloqueiam a busca de IA e 63,1% dos que bloqueiam o treinamento também bloqueiam a busca de IA.
- Posições 1.001 a 3.000 (1.256 domínios): 23,5%, 13,5% e 55,6%.
- Posições 3.001 a 10.000 (4.376 domínios): 22,4%, 11,2% e 48,6%.
O caminho seletivo é raro em todos os tamanhos: 10,5%, 10,4% e 11,5% dos domínios nos três grupos.
Algo mudou desde o nosso relatório de 12 de novembro?
Executamos de novo os primeiros 1.000 domínios com a mesma lista. O resultado é estável, com variação de cerca de um ponto: 28,6% bloqueiam o treinamento (29,9% em 12 de novembro), 18,6% bloqueiam a busca de IA (19,5%) e 63,1% dos que bloqueiam o treinamento também bloqueiam a busca de IA (63,2%). Os denominadores diferem um pouco (560 domínios com robots.txt agora, 518 antes), porque esta execução segue o redirecionamento de um domínio até o host principal antes de fazer a requisição.
O que isso significa para o seu robots.txt?
A maioria das empresas de IA documenta crawlers separados para treinamento e para busca e diz que as configurações são independentes. Proibir GPTBot não afeta OAI-SearchBot, e proibir ClaudeBot não afeta Claude-SearchBot. Se você quer recusar o treinamento e continuar sendo citado, bloqueie os tokens de treinamento e permita os tokens de busca e de usuário, e repita os caminhos privados em cada grupo, porque um grupo nomeado não herda de *.
Qual a confiabilidade desses números?
São regras do robots.txt para a página inicial, lidas por um parser em um dia. Elas não medem bloqueios de firewall, que podem recusar um crawler que o robots.txt permite. Não dizem qual era a intenção de cada site, e a lista Tranco inclui domínios que não servem site algum. Uma regra que bloqueia um crawler de busca não prova um erro, apenas uma escolha que muitas vezes é feita sem conhecer a diferença. Você pode citar os números com um link para esta página.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificador e validador de llms.txt
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
Que parcela dos sites populares bloqueia crawlers de IA?
Entre os 6.192 domínios do top 10.000 do Tranco que servem um robots.txt, 23,2% bloqueiam pelo menos um crawler de treinamento de IA e 12,3% bloqueiam pelo menos um crawler de busca ou de usuário de IA.
Os sites que bloqueiam o treinamento de IA também bloqueiam a busca de IA?
Com frequência. 51,6% dos sites que bloqueiam um crawler de treinamento também bloqueiam pelo menos um crawler de busca ou de usuário de IA, embora os fornecedores os documentem como crawlers separados, com configurações independentes.
Qual crawler de IA é mais bloqueado?
Entre os crawlers de treinamento, Bytespider (18,7%) e CCBot (18,5%), depois GPTBot (17,4%). Entre os crawlers de busca de IA, PerplexityBot é o mais bloqueado, em 10,4% dos domínios.
Por que os números diferem do seu relatório de 1.000 sites?
Os primeiros 1.000 domínios dão porcentagens quase iguais (28,6% e 18,6% contra 29,9% e 19,5%). Os números dos 10.000 sites são menores porque os sites menores bloqueiam menos.
Fontes
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers