Lemos o robots.txt dos 10.000 sites mais populares. Veja o que eles fazem com os crawlers de IA

Publicado em

Resposta curta

Dos 6.192 domínios do top 10.000 do Tranco que servem um robots.txt, 23,2% bloqueiam pelo menos um crawler de treinamento de IA e 12,3% bloqueiam pelo menos um crawler de busca ou de usuário de IA. 51,6% dos sites que bloqueiam o treinamento também bloqueiam a busca de IA. Só 11,2% recusam o treinamento e permitem todos os crawlers de busca de IA.

Em novembro lemos o robots.txt dos 1.000 domínios mais populares. Desta vez lemos 10.000, com o mesmo método, e acrescentamos uma verificação de como o quadro muda à medida que os sites ficam menores. A conclusão principal se mantém: bloquear o treinamento e bloquear a busca são tratados como uma só decisão, embora sejam duas.

Neste artigo
  1. Como medimos?
  2. O que encontramos?
  3. Quais crawlers são mais bloqueados?
  4. Os sites maiores bloqueiam mais?
  5. Algo mudou desde o nosso relatório de 12 de novembro?
  6. O que isso significa para o seu robots.txt?
  7. Qual a confiabilidade desses números?

Como medimos?

Pegamos os 10.000 principais domínios da lista Tranco (ID da lista JZWZY) e buscamos a página inicial, o robots.txt e o llms.txt de cada domínio uma vez, em 21 de novembro de 2026, com o user agent do próprio AISeeWhy. Avaliamos cada robots.txt pela RFC 9309 para a página inicial (/) e para 16 crawlers de IA e de busca.

6.192 dos 10.000 domínios serviram um robots.txt (uma resposta bem-sucedida que não é uma página HTML). 1.121 responderam com um 4xx, o que significa nenhuma regra e todos os crawlers permitidos, e 2.687 não serviram um (sem site HTTPS, erros, timeouts ou uma página HTML no lugar). Todas as porcentagens abaixo são sobre os 6.192. A lista inclui CDNs e APIs que não servem site algum.

O que encontramos?

Quais crawlers são mais bloqueados?

Parcela dos 6.192 domínios cujo robots.txt proíbe a página inicial para o crawler:

Os sites maiores bloqueiam mais?

Sim, e confundem treinamento e busca com mais frequência. Dividimos a lista por posição:

O caminho seletivo é raro em todos os tamanhos: 10,5%, 10,4% e 11,5% dos domínios nos três grupos.

Algo mudou desde o nosso relatório de 12 de novembro?

Executamos de novo os primeiros 1.000 domínios com a mesma lista. O resultado é estável, com variação de cerca de um ponto: 28,6% bloqueiam o treinamento (29,9% em 12 de novembro), 18,6% bloqueiam a busca de IA (19,5%) e 63,1% dos que bloqueiam o treinamento também bloqueiam a busca de IA (63,2%). Os denominadores diferem um pouco (560 domínios com robots.txt agora, 518 antes), porque esta execução segue o redirecionamento de um domínio até o host principal antes de fazer a requisição.

O que isso significa para o seu robots.txt?

A maioria das empresas de IA documenta crawlers separados para treinamento e para busca e diz que as configurações são independentes. Proibir GPTBot não afeta OAI-SearchBot, e proibir ClaudeBot não afeta Claude-SearchBot. Se você quer recusar o treinamento e continuar sendo citado, bloqueie os tokens de treinamento e permita os tokens de busca e de usuário, e repita os caminhos privados em cada grupo, porque um grupo nomeado não herda de *.

Qual a confiabilidade desses números?

São regras do robots.txt para a página inicial, lidas por um parser em um dia. Elas não medem bloqueios de firewall, que podem recusar um crawler que o robots.txt permite. Não dizem qual era a intenção de cada site, e a lista Tranco inclui domínios que não servem site algum. Uma regra que bloqueia um crawler de busca não prova um erro, apenas uma escolha que muitas vezes é feita sem conhecer a diferença. Você pode citar os números com um link para esta página.

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

Que parcela dos sites populares bloqueia crawlers de IA?

Entre os 6.192 domínios do top 10.000 do Tranco que servem um robots.txt, 23,2% bloqueiam pelo menos um crawler de treinamento de IA e 12,3% bloqueiam pelo menos um crawler de busca ou de usuário de IA.

Os sites que bloqueiam o treinamento de IA também bloqueiam a busca de IA?

Com frequência. 51,6% dos sites que bloqueiam um crawler de treinamento também bloqueiam pelo menos um crawler de busca ou de usuário de IA, embora os fornecedores os documentem como crawlers separados, com configurações independentes.

Qual crawler de IA é mais bloqueado?

Entre os crawlers de treinamento, Bytespider (18,7%) e CCBot (18,5%), depois GPTBot (17,4%). Entre os crawlers de busca de IA, PerplexityBot é o mais bloqueado, em 10,4% dos domínios.

Por que os números diferem do seu relatório de 1.000 sites?

Os primeiros 1.000 domínios dão porcentagens quase iguais (28,6% e 18,6% contra 29,9% e 19,5%). Os números dos 10.000 sites são menores porque os sites menores bloqueiam menos.

Fontes

Mais artigos