Què és llms.txt i val la pena afegir-lo?
llms.txt és un fitxer Markdown proposat a /llms.txt que dona a les eines d'IA un resum breu del teu lloc i una llista d'enllaços a les seves pàgines més útils. És una proposta de la comunitat, no un estàndard, i els grans rastrejadors de cerca amb IA no diuen que el facin servir. Afegir-lo costa poc, però no substitueix un HTML que es pugui rastrejar.
llms.txt rep molta atenció i sovint es presenta com el robots.txt de la IA. És una altra cosa: el robots.txt indica què poden obtenir els rastrejadors, mentre que llms.txt és una guia de lectura que dirigeix les eines d'IA cap al contingut que val la pena llegir. Aquí tens què diu la proposta, què se'n sap de l'ús i com escriure'n un.
En aquesta pàgina
D'on surt llms.txt?
Jeremy Howard va proposar el fitxer /llms.txt el setembre del 2024, i la proposta es manté a llmstxt.org. El seu objectiu és estandarditzar un fitxer que ajudi els models de llenguatge i els agents a fer servir un lloc web en el moment de la inferència, per exemple quan un assistent de programació necessita la documentació d'una biblioteca, i no per a l'entrenament.
La idea respon a un problema real. Les pàgines web porten navegació, scripts, bàners i maquetació. Un fitxer Markdown breu i seleccionat, amb enllaços a versions netes de les pàgines clau, és més fàcil de fer servir per a un model dins d'una finestra de context limitada.
Què hi ha en un fitxer llms.txt?
El fitxer és Markdown amb un ordre fix. Només el primer element és obligatori:
- Un H1 amb el nom del lloc o del projecte (obligatori).
- Una cita en bloc amb un resum breu del que és el lloc.
- Paràgrafs o llistes opcionals amb més detall, sense encapçalaments.
- Seccions H2, cadascuna amb una llista d'enllaços Markdown en la forma
[name](url), opcionalment seguits de dos punts i una nota. - Una secció opcional anomenada
Optionalper a enllaços secundaris que una eina es pot saltar quan necessita menys context.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) La proposta també suggereix oferir versions Markdown de les pàgines a la mateixa URL afegint-hi .md, per exemple page.html.md, perquè les eines puguin obtenir text net.
Qui llegeix de veritat llms.txt avui?
Aquí convé anar amb compte. El lloc llmstxt.org diu que aquests fitxers es fan servir sobretot per a documentació de programari, on els segueixen els agents de programació. OpenAI, Anthropic, Google i Perplexity no inclouen llms.txt entre els senyals que fan servir els seus rastrejadors de cerca a la documentació de rastrejadors que hem revisat.
Google va més enllà per a les seves funcions de la Cerca. La seva guia sobre les AI Overviews i l'AI Mode diu que no cal crear fitxers nous llegibles per màquines, fitxers de text per a la IA ni marcatge per aparèixer-hi. Per a la Cerca de Google, llms.txt no té cap paper declarat.
Així que la resposta honesta és: algunes eines d'IA, sobretot assistents de programació i agents als quals s'indica un lloc, el poden llegir. Els rastrejadors que decideixen si la cerca amb IA cita la teva pàgina treballen a partir del teu HTML.
Pots comprovar tu mateix si alguna cosa llegeix el teu fitxer. Busca als registres del servidor o de la CDN les peticions a /llms.txt i mira'n els user agents. Si en unes quantes setmanes no n'apareix cap, això et diu més sobre el seu valor per al teu lloc que qualsevol afirmació general.
Hauria d'afegir-ne un igualment?
Per a la majoria de llocs és un afegit de poc cost i de resultat incert. Es fa en pocs minuts, no pot perjudicar la teva visibilitat a la cerca i pot ajudar els agents que el busquen. És més útil per a documentació, eines per a desenvolupadors i productes amb molt material de referència.
El que no pot fer és corregir problemes d'accés. Si un tallafoc bloqueja els rastrejadors d'IA, el teu robots.txt els bloqueja o el teu contingut només apareix després d'executar JavaScript, llms.txt no canvia res. Corregeix això primer.
Com escric un bon llms.txt?
- Posa'l a
https://yourdomain.com/llms.txti serveix-lo com a text pla amb l'estat 200, no com una pàgina HTML. - Escriu el resum com explicaries el lloc a un company nou en dues frases: què és i per a qui és.
- Llista les pàgines que responen preguntes reals: producte, preus, documentació, polítiques. Deixa de banda les pàgines d'etiquetes i els arxius.
- Fes servir URL absolutes i mantén la llista prou curta perquè sigui útil; unes quantes desenes d'enllaços n'hi ha prou per a la majoria de llocs.
- Mantén-lo al dia. Un fitxer que enllaça a pàgines eliminades és pitjor que no tenir-ne cap.
- No el facis servir per indicar permisos. Les regles d'accés van al robots.txt.
Com tracta AISeeWhy llms.txt?
AISeeWhy comprova si el teu lloc té un llms.txt i si la pàgina auditada hi apareix. Com que avui els rastrejadors d'IA rarament el llegeixen, l'absència del fitxer és una troballa P3, la de prioritat més baixa, i l'informe inclou un esborrany fet a partir del títol, la descripció i el sitemap de la teva pàgina que pots editar i publicar.
Correccions per a aquest problema
- No es pot llegir un fitxer de descobriment d'agents
- La versió Markdown per als agents està trencada
- Resposta Markdown sense Vary: Accept
- No hi ha versió Markdown per als agents d'IA
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovador i validador de llms.txt
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
llms.txt és un estàndard oficial?
No. És una proposta de la comunitat publicada a llmstxt.org. No és un estàndard de l'IETF ni del W3C, i cap proveïdor d'IA no està obligat a llegir-lo.
llms.txt bloqueja l'entrenament d'IA?
No. És una llista d'enllaços, no un conjunt de permisos. Per excloure't de l'entrenament, fes servir els tokens d'entrenament al robots.txt, com GPTBot, ClaudeBot o Google-Extended.
Necessito llms.txt per aparèixer a les AI Overviews de Google?
No. Google diu que no calen fitxers de text per a la IA ni marcatge especial per aparèixer a les AI Overviews o a l'AI Mode. La pàgina ha d'estar indexada i ha de poder mostrar un fragment.
llms.txt pot estar en una subcarpeta?
La versió actual de la proposta permet un fitxer en un subcamí, com /docs/llms.txt, que cobreix les pàgines que hi ha sota aquest camí. La majoria de llocs només necessiten un fitxer a l'arrel.
Fonts
- llmstxt.org: El fitxer /llms.txt
- Google Search Central: Les funcions d'IA i el teu lloc web
- OpenAI: Resum dels rastrejadors d'OpenAI