Quantos sites publicam um llms.txt? Verificamos 10.000 domínios
Dos 10.000 domínios mais populares, 12,4% publicam um llms.txt (1.240), e 16,7% daqueles cuja página inicial responde com HTML. Sites maiores publicam com mais frequência. Os sites que publicam um bloqueiam crawlers de busca de IA em 1,4% dos casos, contra 15,0% dos que não publicam. Isso conta apenas a publicação: não mostra se algum assistente de IA lê o arquivo.
O llms.txt é um dos arquivos mais debatidos na busca por IA e um dos menos medidos. Já lemos o robots.txt dos 10.000 principais domínios e, na mesma passada, pedimos /llms.txt a cada um. Isto é o que voltou.
Neste artigo
Como verificamos?
Pegamos os 10.000 principais domínios da lista Tranco (ID da lista JZWZY) e pedimos /llms.txt uma vez a cada um, em 21 de novembro de 2026, com o user agent do próprio AISeeWhy, depois de ler a página inicial e seguir o redirecionamento até o host principal.
Um domínio conta como publicando um llms.txt quando o próprio /llms.txt responde com 200, um corpo de texto não vazio que não é uma página HTML, e sem redirecionamento para outra página, como um login ou a página inicial. Não verificamos o formato do arquivo nesta execução.
O que encontramos?
- 1.240 dos 10.000 domínios (12,4%) publicam um
llms.txt. - A lista inclui CDNs e hosts de API que não servem site algum. Entre os 7.367 domínios cuja página inicial respondeu com HTML, 1.233 (16,7%) publicam um.
- Quase todos também servem um robots.txt: 1.229 dos 1.240.
Os sites maiores publicam mais?
Sim, com margem clara. Dividimos os sites (domínios cuja página inicial respondeu com HTML) pela posição no Tranco:
- Posições 1 a 1.000: 22,6% publicam um llms.txt (149 de 658 sites).
- Posições 1.001 a 3.000: 18,2% (264 de 1.449).
- Posições 3.001 a 10.000: 15,6% (820 de 5.260).
Quem publica um?
Entre os 6.192 domínios que servem um robots.txt, os que publicam um llms.txt se diferenciam dos demais:
- Eles bloqueiam pelo menos um crawler de treinamento de IA em 11,8% dos casos, contra 26,0% dos domínios sem llms.txt.
- Eles bloqueiam pelo menos um crawler de busca ou de usuário de IA em 1,4% dos casos, contra 15,0%.
- Eles usam uma linha
Content-Signalem 12,9% dos casos, contra 4,9%.
Em outras palavras, os sites que se dão ao trabalho de publicar um llms.txt são, em sua maioria, os que já deixam os crawlers de IA entrar.
O que isso não mostra?
Mostra uma associação, não uma causa. Um site que leva a sério a visibilidade em IA pode publicar um llms.txt e também manter o robots.txt aberto; isso não significa que o arquivo fez a diferença. A contagem também mede apenas a publicação. Ela não mostra se algum assistente de IA lê o arquivo, e os principais crawlers de busca de IA não dizem que o usam.
Os números descrevem as regras da página inicial e o arquivo em um endereço em um dia, para os domínios mais populares. Sites menores podem ser diferentes.
Você deve publicar um?
É barato e inofensivo: um resumo curto em Markdown do seu site e uma lista das suas páginas mais úteis. Mantenha-o correto e com os links funcionando. Não o trate como substituto de deixar os crawlers entrarem: um llms.txt em um site cujo firewall recusa o crawler, ou cujo robots.txt o proíbe, não ajuda ninguém.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificador e validador de llms.txt
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Perguntas frequentes
Que parcela dos sites tem um llms.txt?
Entre os 10.000 domínios mais populares que verificamos, 12,4% publicam um. Entre os domínios cuja página inicial responde com HTML, a parcela é de 16,7%, e é maior para os maiores sites: 22,6% no top 1.000.
Os sites com llms.txt permitem crawlers de IA com mais frequência?
Nos nossos dados, sim: eles bloqueiam crawlers de busca e de usuário de IA em 1,4% dos casos, contra 15,0% dos sites sem o arquivo. É uma correlação. Não mostra que o arquivo muda como os crawlers tratam um site.
Um llms.txt ajuda a ser citado por assistentes de IA?
Nossos dados não permitem dizer. Eles contam quais sites publicam o arquivo, não se um assistente o usa, e os principais crawlers de busca de IA não afirmam que o leem. Páginas rastreáveis e acesso aberto importam mais.
Como saber se um site tem um llms.txt de verdade?
Peça /llms.txt e confira se responde com 200 nesse endereço, com um corpo de texto que não seja uma página HTML. Um redirecionamento para a página inicial ou para um login não é um llms.txt.
Fontes
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers