Què és llms.txt i val la pena afegir-lo?

Publicat

Resposta breu

llms.txt és un fitxer Markdown proposat a /llms.txt que dona a les eines d'IA un resum breu del teu lloc i una llista d'enllaços a les seves pàgines més útils. És una proposta de la comunitat, no un estàndard, i els grans rastrejadors de cerca amb IA no diuen que el facin servir. Afegir-lo costa poc, però no substitueix un HTML que es pugui rastrejar.

llms.txt rep molta atenció i sovint es presenta com el robots.txt de la IA. És una altra cosa: el robots.txt indica què poden obtenir els rastrejadors, mentre que llms.txt és una guia de lectura que dirigeix les eines d'IA cap al contingut que val la pena llegir. Aquí tens què diu la proposta, què se'n sap de l'ús i com escriure'n un.

En aquesta pàgina
  1. D'on surt llms.txt?
  2. Què hi ha en un fitxer llms.txt?
  3. Qui llegeix de veritat llms.txt avui?
  4. Hauria d'afegir-ne un igualment?
  5. Com escric un bon llms.txt?
  6. Com tracta AISeeWhy llms.txt?

D'on surt llms.txt?

Jeremy Howard va proposar el fitxer /llms.txt el setembre del 2024, i la proposta es manté a llmstxt.org. El seu objectiu és estandarditzar un fitxer que ajudi els models de llenguatge i els agents a fer servir un lloc web en el moment de la inferència, per exemple quan un assistent de programació necessita la documentació d'una biblioteca, i no per a l'entrenament.

La idea respon a un problema real. Les pàgines web porten navegació, scripts, bàners i maquetació. Un fitxer Markdown breu i seleccionat, amb enllaços a versions netes de les pàgines clau, és més fàcil de fer servir per a un model dins d'una finestra de context limitada.

Què hi ha en un fitxer llms.txt?

El fitxer és Markdown amb un ordre fix. Només el primer element és obligatori:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

La proposta també suggereix oferir versions Markdown de les pàgines a la mateixa URL afegint-hi .md, per exemple page.html.md, perquè les eines puguin obtenir text net.

Qui llegeix de veritat llms.txt avui?

Aquí convé anar amb compte. El lloc llmstxt.org diu que aquests fitxers es fan servir sobretot per a documentació de programari, on els segueixen els agents de programació. OpenAI, Anthropic, Google i Perplexity no inclouen llms.txt entre els senyals que fan servir els seus rastrejadors de cerca a la documentació de rastrejadors que hem revisat.

Google va més enllà per a les seves funcions de la Cerca. La seva guia sobre les AI Overviews i l'AI Mode diu que no cal crear fitxers nous llegibles per màquines, fitxers de text per a la IA ni marcatge per aparèixer-hi. Per a la Cerca de Google, llms.txt no té cap paper declarat.

Així que la resposta honesta és: algunes eines d'IA, sobretot assistents de programació i agents als quals s'indica un lloc, el poden llegir. Els rastrejadors que decideixen si la cerca amb IA cita la teva pàgina treballen a partir del teu HTML.

Pots comprovar tu mateix si alguna cosa llegeix el teu fitxer. Busca als registres del servidor o de la CDN les peticions a /llms.txt i mira'n els user agents. Si en unes quantes setmanes no n'apareix cap, això et diu més sobre el seu valor per al teu lloc que qualsevol afirmació general.

Hauria d'afegir-ne un igualment?

Per a la majoria de llocs és un afegit de poc cost i de resultat incert. Es fa en pocs minuts, no pot perjudicar la teva visibilitat a la cerca i pot ajudar els agents que el busquen. És més útil per a documentació, eines per a desenvolupadors i productes amb molt material de referència.

El que no pot fer és corregir problemes d'accés. Si un tallafoc bloqueja els rastrejadors d'IA, el teu robots.txt els bloqueja o el teu contingut només apareix després d'executar JavaScript, llms.txt no canvia res. Corregeix això primer.

Com escric un bon llms.txt?

Com tracta AISeeWhy llms.txt?

AISeeWhy comprova si el teu lloc té un llms.txt i si la pàgina auditada hi apareix. Com que avui els rastrejadors d'IA rarament el llegeixen, l'absència del fitxer és una troballa P3, la de prioritat més baixa, i l'informe inclou un esborrany fet a partir del títol, la descripció i el sitemap de la teva pàgina que pots editar i publicar.

Correccions per a aquest problema

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

llms.txt és un estàndard oficial?

No. És una proposta de la comunitat publicada a llmstxt.org. No és un estàndard de l'IETF ni del W3C, i cap proveïdor d'IA no està obligat a llegir-lo.

llms.txt bloqueja l'entrenament d'IA?

No. És una llista d'enllaços, no un conjunt de permisos. Per excloure't de l'entrenament, fes servir els tokens d'entrenament al robots.txt, com GPTBot, ClaudeBot o Google-Extended.

Necessito llms.txt per aparèixer a les AI Overviews de Google?

No. Google diu que no calen fitxers de text per a la IA ni marcatge especial per aparèixer a les AI Overviews o a l'AI Mode. La pàgina ha d'estar indexada i ha de poder mostrar un fragment.

llms.txt pot estar en una subcarpeta?

La versió actual de la proposta permet un fitxer en un subcamí, com /docs/llms.txt, que cobreix les pàgines que hi ha sota aquest camí. La majoria de llocs només necessiten un fitxer a l'arrel.

Fonts

Més articles