Vad är llms.txt, och är det värt att lägga till?
llms.txt är en föreslagen Markdown-fil på /llms.txt som ger AI-verktyg en kort sammanfattning av din webbplats och en lista med länkar till de mest användbara sidorna. Det är ett förslag från communityn, inte en standard, och de stora AI-sökcrawlers säger inte att de använder det. Det är billigt att lägga till, men ersätter inte HTML som går att genomsöka.
llms.txt får mycket uppmärksamhet och beskrivs ofta som AI:s robots.txt. Det är något annat: robots.txt anger vad crawlers får hämta, medan llms.txt är en läsguide som pekar AI-verktyg mot innehåll som är värt att läsa. Här är vad förslaget säger, vad som är känt om användningen och hur du skriver en fil.
På den här sidan
Var kommer llms.txt ifrån
Jeremy Howard föreslog filen /llms.txt i september 2024, och förslaget underhålls på llmstxt.org. Syftet är att standardisera en fil som hjälper språkmodeller och agenter att använda en webbplats vid inferens, till exempel när en kodassistent behöver ett biblioteks dokumentation, snarare än för träning.
Idén svarar på ett verkligt problem. Webbsidor innehåller navigering, skript, banners och layout. En kort, kurerad Markdown-fil med länkar till rena versioner av de viktigaste sidorna är lättare för en modell att arbeta med inom ett begränsat kontextfönster.
Vad ingår i en llms.txt-fil
Filen är Markdown med en fast ordning. Bara det första elementet är obligatoriskt:
- En H1 med webbplatsens eller projektets namn (obligatoriskt).
- Ett blockcitat med en kort sammanfattning av vad webbplatsen är.
- Valfria stycken eller listor med mer detaljer, utan rubriker.
- H2-avsnitt, vart och ett med en lista med Markdown-länkar på formen
[name](url), eventuellt följda av ett kolon och en anteckning. - Ett valfritt avsnitt med namnet
Optionalför sekundära länkar som ett verktyg kan hoppa över när det behöver mindre kontext.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
Förslaget föreslår också att man erbjuder Markdown-versioner av sidor på samma URL med .md tillagt, till exempel page.html.md, så att verktyg kan hämta ren text.
Vem läser egentligen llms.txt i dag
Här lönar det sig att vara försiktig. Webbplatsen llmstxt.org säger att filerna används mest för programvarudokumentation, där kodagenter följer dem. OpenAI, Anthropic, Google och Perplexity listar inte llms.txt bland de signaler som deras sökcrawlers använder i den crawler-dokumentation vi har gått igenom.
Google går längre för sina egna sökfunktioner. Deras vägledning om AI-översikter och AI-läge säger att du inte behöver skapa nya maskinläsbara filer, AI-textfiler eller markup för att synas i dem. För Google Sök har llms.txt ingen angiven roll.
Det ärliga svaret är alltså: vissa AI-verktyg, mest kodassistenter och agenter som pekas mot en webbplats, kan läsa den. De crawlers som avgör om AI-sök citerar din sida arbetar utifrån din HTML.
Du kan själv se om något läser din fil. Sök i dina server- eller CDN-loggar efter begäranden till /llms.txt och titta på user agents. Om inga begäranden dyker upp på några veckor säger det mer om värdet för din webbplats än något allmänt påstående.
Bör jag lägga till en ändå
För de flesta webbplatser är det ett tillägg med låg kostnad och låg säkerhet. Det tar några minuter, kan inte skada din synlighet i sök och kan hjälpa agenter som letar efter det. Det är mest användbart för dokumentation, utvecklarverktyg och produkter med mycket referensmaterial.
Det som den inte kan göra är att lösa åtkomstproblem. Om en brandvägg blockerar AI-crawlers, din robots.txt nekar dem eller ditt innehåll bara visas efter att JavaScript körts ändrar llms.txt ingenting. Åtgärda det först.
Hur skriver jag en bra llms.txt
- Lägg den på
https://yourdomain.com/llms.txtoch servera den som ren text med status 200, inte som en HTML-sida. - Skriv sammanfattningen så som du skulle förklara webbplatsen för en ny kollega på två meningar: vad den är och vem den är till för.
- Lista sidorna som svarar på verkliga frågor: produkt, priser, dokumentation, policyer. Hoppa över taggsidor och arkiv.
- Använd absoluta URL:er och håll listan så kort att den förblir användbar; ett par dussin länkar räcker gott för de flesta webbplatser.
- Håll den aktuell. En fil som länkar till borttagna sidor är sämre än ingen alls.
- Använd den inte för att ange behörigheter. Åtkomstregler hör hemma i robots.txt.
Hur behandlar AISeeWhy llms.txt
AISeeWhy kontrollerar om din webbplats har en llms.txt och om den granskade sidan finns med i den. Eftersom AI-crawlers sällan läser den i dag är en saknad fil ett P3-fynd, den lägsta prioriteten, och rapporten innehåller ett utkast byggt på din sidtitel, beskrivning och sitemap som du kan redigera och publicera.
Vanliga frågor
Är llms.txt en officiell standard?
Nej. Det är ett förslag från communityn som publiceras på llmstxt.org. Det är ingen IETF- eller W3C-standard, och ingen AI-leverantör är bunden att läsa det.
Blockerar llms.txt AI-träning?
Nej. Det är en lista med länkar, inte en uppsättning behörigheter. Vill du välja bort träning använder du träningstoken i robots.txt, till exempel GPTBot, ClaudeBot eller Google-Extended.
Behöver jag llms.txt för att synas i Googles AI-översikter?
Nej. Google säger att du inte behöver AI-textfiler eller särskild markup för att synas i AI-översikter eller AI-läge. Sidan måste vara indexerad och kvalificerad för att visa ett utdrag.
Kan llms.txt ligga i en undermapp?
Den nuvarande versionen av förslaget tillåter en fil på en delsökväg, till exempel /docs/llms.txt, som täcker sidorna under den sökvägen. De flesta webbplatser behöver bara en fil i roten.
Källor
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers