Vad är llms.txt, och är det värt att lägga till?

Publicerad

Kort svar

llms.txt är en föreslagen Markdown-fil på /llms.txt som ger AI-verktyg en kort sammanfattning av din webbplats och en lista med länkar till de mest användbara sidorna. Det är ett förslag från communityn, inte en standard, och de stora AI-sökcrawlers säger inte att de använder det. Det är billigt att lägga till, men ersätter inte HTML som går att genomsöka.

llms.txt får mycket uppmärksamhet och beskrivs ofta som AI:s robots.txt. Det är något annat: robots.txt anger vad crawlers får hämta, medan llms.txt är en läsguide som pekar AI-verktyg mot innehåll som är värt att läsa. Här är vad förslaget säger, vad som är känt om användningen och hur du skriver en fil.

På den här sidan
  1. Var kommer llms.txt ifrån
  2. Vad ingår i en llms.txt-fil
  3. Vem läser egentligen llms.txt i dag
  4. Bör jag lägga till en ändå
  5. Hur skriver jag en bra llms.txt
  6. Hur behandlar AISeeWhy llms.txt

Var kommer llms.txt ifrån

Jeremy Howard föreslog filen /llms.txt i september 2024, och förslaget underhålls på llmstxt.org. Syftet är att standardisera en fil som hjälper språkmodeller och agenter att använda en webbplats vid inferens, till exempel när en kodassistent behöver ett biblioteks dokumentation, snarare än för träning.

Idén svarar på ett verkligt problem. Webbsidor innehåller navigering, skript, banners och layout. En kort, kurerad Markdown-fil med länkar till rena versioner av de viktigaste sidorna är lättare för en modell att arbeta med inom ett begränsat kontextfönster.

Vad ingår i en llms.txt-fil

Filen är Markdown med en fast ordning. Bara det första elementet är obligatoriskt:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Förslaget föreslår också att man erbjuder Markdown-versioner av sidor på samma URL med .md tillagt, till exempel page.html.md, så att verktyg kan hämta ren text.

Vem läser egentligen llms.txt i dag

Här lönar det sig att vara försiktig. Webbplatsen llmstxt.org säger att filerna används mest för programvarudokumentation, där kodagenter följer dem. OpenAI, Anthropic, Google och Perplexity listar inte llms.txt bland de signaler som deras sökcrawlers använder i den crawler-dokumentation vi har gått igenom.

Google går längre för sina egna sökfunktioner. Deras vägledning om AI-översikter och AI-läge säger att du inte behöver skapa nya maskinläsbara filer, AI-textfiler eller markup för att synas i dem. För Google Sök har llms.txt ingen angiven roll.

Det ärliga svaret är alltså: vissa AI-verktyg, mest kodassistenter och agenter som pekas mot en webbplats, kan läsa den. De crawlers som avgör om AI-sök citerar din sida arbetar utifrån din HTML.

Du kan själv se om något läser din fil. Sök i dina server- eller CDN-loggar efter begäranden till /llms.txt och titta på user agents. Om inga begäranden dyker upp på några veckor säger det mer om värdet för din webbplats än något allmänt påstående.

Bör jag lägga till en ändå

För de flesta webbplatser är det ett tillägg med låg kostnad och låg säkerhet. Det tar några minuter, kan inte skada din synlighet i sök och kan hjälpa agenter som letar efter det. Det är mest användbart för dokumentation, utvecklarverktyg och produkter med mycket referensmaterial.

Det som den inte kan göra är att lösa åtkomstproblem. Om en brandvägg blockerar AI-crawlers, din robots.txt nekar dem eller ditt innehåll bara visas efter att JavaScript körts ändrar llms.txt ingenting. Åtgärda det först.

Hur skriver jag en bra llms.txt

Hur behandlar AISeeWhy llms.txt

AISeeWhy kontrollerar om din webbplats har en llms.txt och om den granskade sidan finns med i den. Eftersom AI-crawlers sällan läser den i dag är en saknad fil ett P3-fynd, den lägsta prioriteten, och rapporten innehåller ett utkast byggt på din sidtitel, beskrivning och sitemap som du kan redigera och publicera.

Vanliga frågor

Är llms.txt en officiell standard?

Nej. Det är ett förslag från communityn som publiceras på llmstxt.org. Det är ingen IETF- eller W3C-standard, och ingen AI-leverantör är bunden att läsa det.

Blockerar llms.txt AI-träning?

Nej. Det är en lista med länkar, inte en uppsättning behörigheter. Vill du välja bort träning använder du träningstoken i robots.txt, till exempel GPTBot, ClaudeBot eller Google-Extended.

Behöver jag llms.txt för att synas i Googles AI-översikter?

Nej. Google säger att du inte behöver AI-textfiler eller särskild markup för att synas i AI-översikter eller AI-läge. Sidan måste vara indexerad och kvalificerad för att visa ett utdrag.

Kan llms.txt ligga i en undermapp?

Den nuvarande versionen av förslaget tillåter en fil på en delsökväg, till exempel /docs/llms.txt, som täcker sidorna under den sökvägen. De flesta webbplatser behöver bara en fil i roten.

Källor

Fler artiklar