O que é o llms.txt e vale a pena adicionar?

Publicado em

Resposta curta

O llms.txt é um arquivo Markdown proposto em /llms.txt que dá às ferramentas de IA um resumo curto do seu site e uma lista de links para as páginas mais úteis. É uma proposta da comunidade, não um padrão, e os principais crawlers de busca de IA não dizem que o usam. Adicionar é barato, mas não substitui um HTML rastreável.

O llms.txt recebe muita atenção, muitas vezes apresentado como o robots.txt da IA. É outra coisa: o robots.txt declara o que os crawlers podem buscar, enquanto o llms.txt é um guia de leitura que aponta às ferramentas de IA o conteúdo que vale a pena ler. Veja o que a proposta diz, o que se sabe sobre seu uso e como escrever um.

Neste artigo
  1. De onde vem o llms.txt?
  2. O que vai em um arquivo llms.txt?
  3. Quem realmente lê o llms.txt hoje?
  4. Devo adicionar um mesmo assim?
  5. Como escrevo um bom llms.txt?
  6. Como a AISeeWhy trata o llms.txt?

De onde vem o llms.txt?

Jeremy Howard propôs o arquivo /llms.txt em setembro de 2024, e a proposta é mantida em llmstxt.org. O objetivo é padronizar um arquivo que ajude modelos de linguagem e agentes a usar um site no momento da inferência, por exemplo quando um assistente de programação precisa da documentação de uma biblioteca, e não para treinamento.

A ideia responde a um problema real. As páginas da web trazem navegação, scripts, banners e layout. Um arquivo Markdown curto e selecionado, com links para versões limpas das páginas principais, é mais fácil para um modelo trabalhar dentro de uma janela de contexto limitada.

O que vai em um arquivo llms.txt?

O arquivo é em Markdown, com uma ordem fixa. Só o primeiro elemento é obrigatório:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

A proposta também sugere oferecer versões em Markdown das páginas na mesma URL com .md no final, por exemplo page.html.md, para que as ferramentas busquem texto limpo.

Quem realmente lê o llms.txt hoje?

Aqui convém ter cuidado. O site llmstxt.org diz que os arquivos são usados principalmente para documentação de software, onde agentes de programação os seguem. OpenAI, Anthropic, Google e Perplexity não listam o llms.txt entre os sinais que seus crawlers de busca usam, na documentação de crawlers que analisamos.

O Google vai além para seus próprios recursos de Pesquisa. A orientação dele sobre AI Overviews e AI Mode diz que você não precisa criar novos arquivos legíveis por máquina, arquivos de texto para IA nem marcações para aparecer neles. Para a Pesquisa Google, o llms.txt não tem papel declarado.

Então a resposta honesta é: algumas ferramentas de IA, principalmente assistentes de programação e agentes apontados para um site, podem lê-lo. Os crawlers que decidem se a busca com IA cita sua página trabalham a partir do seu HTML.

Você mesmo pode ver se algo lê seu arquivo. Procure nos logs do servidor ou da CDN requisições a /llms.txt e olhe os user agents. Se nenhuma requisição aparecer em algumas semanas, isso diz mais sobre o valor dele para o seu site do que qualquer afirmação geral.

Devo adicionar um mesmo assim?

Para a maioria dos sites, é um acréscimo de baixo custo e baixa certeza. Leva alguns minutos, não prejudica sua visibilidade na busca e pode ajudar agentes que o procuram. É mais útil para documentação, ferramentas para desenvolvedores e produtos com muito material de referência.

O que ele não pode fazer é resolver problemas de acesso. Se um firewall bloqueia crawlers de IA, se seu robots.txt os proíbe ou se seu conteúdo só aparece depois que o JavaScript roda, o llms.txt não muda nada. Corrija isso primeiro.

Como escrevo um bom llms.txt?

Como a AISeeWhy trata o llms.txt?

A AISeeWhy verifica se seu site tem um llms.txt e se a página auditada está listada nele. Como os crawlers de IA raramente o leem hoje, a ausência do arquivo é um problema P3, o de menor prioridade, e o relatório inclui um rascunho montado a partir do título, da descrição e do sitemap da sua página, que você pode editar e publicar.

Perguntas frequentes

O llms.txt é um padrão oficial?

Não. É uma proposta da comunidade publicada em llmstxt.org. Não é um padrão da IETF nem do W3C, e nenhum fornecedor de IA é obrigado a lê-lo.

O llms.txt bloqueia o treinamento de IA?

Não. É uma lista de links, não um conjunto de permissões. Para optar por sair do treinamento, use os tokens de treinamento no robots.txt, como GPTBot, ClaudeBot ou Google-Extended.

Preciso do llms.txt para aparecer nas AI Overviews do Google?

Não. O Google diz que você não precisa de arquivos de texto para IA nem de marcação especial para aparecer nas AI Overviews ou no AI Mode. A página precisa estar indexada e ser elegível para mostrar um snippet.

O llms.txt pode ficar em uma subpasta?

A versão atual da proposta permite um arquivo em um subcaminho, como /docs/llms.txt, cobrindo as páginas sob esse caminho. A maioria dos sites só precisa de um arquivo na raiz.

Fontes

Mais artigos