O que é o llms.txt e vale a pena adicionar?
O llms.txt é um arquivo Markdown proposto em /llms.txt que dá às ferramentas de IA um resumo curto do seu site e uma lista de links para as páginas mais úteis. É uma proposta da comunidade, não um padrão, e os principais crawlers de busca de IA não dizem que o usam. Adicionar é barato, mas não substitui um HTML rastreável.
O llms.txt recebe muita atenção, muitas vezes apresentado como o robots.txt da IA. É outra coisa: o robots.txt declara o que os crawlers podem buscar, enquanto o llms.txt é um guia de leitura que aponta às ferramentas de IA o conteúdo que vale a pena ler. Veja o que a proposta diz, o que se sabe sobre seu uso e como escrever um.
Neste artigo
De onde vem o llms.txt?
Jeremy Howard propôs o arquivo /llms.txt em setembro de 2024, e a proposta é mantida em llmstxt.org. O objetivo é padronizar um arquivo que ajude modelos de linguagem e agentes a usar um site no momento da inferência, por exemplo quando um assistente de programação precisa da documentação de uma biblioteca, e não para treinamento.
A ideia responde a um problema real. As páginas da web trazem navegação, scripts, banners e layout. Um arquivo Markdown curto e selecionado, com links para versões limpas das páginas principais, é mais fácil para um modelo trabalhar dentro de uma janela de contexto limitada.
O que vai em um arquivo llms.txt?
O arquivo é em Markdown, com uma ordem fixa. Só o primeiro elemento é obrigatório:
- Um H1 com o nome do site ou projeto (obrigatório).
- Uma citação em bloco (blockquote) com um resumo curto do que é o site.
- Parágrafos ou listas opcionais com mais detalhes, sem títulos.
- Seções H2, cada uma com uma lista de links Markdown no formato
[name](url), opcionalmente seguidos de dois-pontos e uma observação. - Uma seção opcional chamada
Optionalpara links secundários que uma ferramenta pode pular quando precisa de menos contexto.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
A proposta também sugere oferecer versões em Markdown das páginas na mesma URL com .md no final, por exemplo page.html.md, para que as ferramentas busquem texto limpo.
Quem realmente lê o llms.txt hoje?
Aqui convém ter cuidado. O site llmstxt.org diz que os arquivos são usados principalmente para documentação de software, onde agentes de programação os seguem. OpenAI, Anthropic, Google e Perplexity não listam o llms.txt entre os sinais que seus crawlers de busca usam, na documentação de crawlers que analisamos.
O Google vai além para seus próprios recursos de Pesquisa. A orientação dele sobre AI Overviews e AI Mode diz que você não precisa criar novos arquivos legíveis por máquina, arquivos de texto para IA nem marcações para aparecer neles. Para a Pesquisa Google, o llms.txt não tem papel declarado.
Então a resposta honesta é: algumas ferramentas de IA, principalmente assistentes de programação e agentes apontados para um site, podem lê-lo. Os crawlers que decidem se a busca com IA cita sua página trabalham a partir do seu HTML.
Você mesmo pode ver se algo lê seu arquivo. Procure nos logs do servidor ou da CDN requisições a /llms.txt e olhe os user agents. Se nenhuma requisição aparecer em algumas semanas, isso diz mais sobre o valor dele para o seu site do que qualquer afirmação geral.
Devo adicionar um mesmo assim?
Para a maioria dos sites, é um acréscimo de baixo custo e baixa certeza. Leva alguns minutos, não prejudica sua visibilidade na busca e pode ajudar agentes que o procuram. É mais útil para documentação, ferramentas para desenvolvedores e produtos com muito material de referência.
O que ele não pode fazer é resolver problemas de acesso. Se um firewall bloqueia crawlers de IA, se seu robots.txt os proíbe ou se seu conteúdo só aparece depois que o JavaScript roda, o llms.txt não muda nada. Corrija isso primeiro.
Como escrevo um bom llms.txt?
- Coloque-o em
https://yourdomain.com/llms.txte sirva-o como texto simples com status 200, não como uma página HTML. - Escreva o resumo como explicaria o site a um novo colega em duas frases: o que é e para quem é.
- Liste as páginas que respondem a perguntas reais: produto, preços, documentação, políticas. Pule páginas de tags e arquivos.
- Use URLs absolutas e mantenha a lista curta o bastante para continuar útil; algumas dezenas de links bastam para a maioria dos sites.
- Mantenha-o atualizado. Um arquivo que aponta para páginas removidas é pior que nenhum.
- Não o use para declarar permissões. As regras de acesso pertencem ao robots.txt.
Como a AISeeWhy trata o llms.txt?
A AISeeWhy verifica se seu site tem um llms.txt e se a página auditada está listada nele. Como os crawlers de IA raramente o leem hoje, a ausência do arquivo é um problema P3, o de menor prioridade, e o relatório inclui um rascunho montado a partir do título, da descrição e do sitemap da sua página, que você pode editar e publicar.
Perguntas frequentes
O llms.txt é um padrão oficial?
Não. É uma proposta da comunidade publicada em llmstxt.org. Não é um padrão da IETF nem do W3C, e nenhum fornecedor de IA é obrigado a lê-lo.
O llms.txt bloqueia o treinamento de IA?
Não. É uma lista de links, não um conjunto de permissões. Para optar por sair do treinamento, use os tokens de treinamento no robots.txt, como GPTBot, ClaudeBot ou Google-Extended.
Preciso do llms.txt para aparecer nas AI Overviews do Google?
Não. O Google diz que você não precisa de arquivos de texto para IA nem de marcação especial para aparecer nas AI Overviews ou no AI Mode. A página precisa estar indexada e ser elegível para mostrar um snippet.
O llms.txt pode ficar em uma subpasta?
A versão atual da proposta permite um arquivo em um subcaminho, como /docs/llms.txt, cobrindo as páginas sob esse caminho. A maioria dos sites só precisa de um arquivo na raiz.
Fontes
- llmstxt.org: o arquivo /llms.txt
- Google Search Central: recursos de IA e o seu site
- OpenAI: visão geral dos crawlers da OpenAI