Hvad er llms.txt, og er den værd at tilføje?
llms.txt er en foreslået Markdown-fil på /llms.txt, som giver AI-værktøjer et kort resumé af dit site og en liste med links til de mest nyttige sider. Det er et forslag fra fællesskabet, ikke en standard, og de store AI-søgecrawlere siger ikke, at de bruger den. Den er billig at tilføje, men erstatter ikke crawlbar HTML.
llms.txt får meget opmærksomhed og præsenteres ofte som AI's robots.txt. Den er noget andet: robots.txt angiver, hvad crawlere må hente, mens llms.txt er en læsevejledning, der peger AI-værktøjer hen på det indhold, der er værd at læse. Her er, hvad forslaget siger, hvad man ved om brugen, og hvordan du skriver en.
På denne side
Hvor kommer llms.txt fra?
Jeremy Howard foreslog filen /llms.txt i september 2024, og forslaget vedligeholdes på llmstxt.org. Målet er at standardisere én fil, der hjælper sprogmodeller og agenter med at bruge et website, når de skal bruge det, for eksempel når en kodeassistent har brug for et biblioteks dokumentation, og altså ikke til træning.
Idéen svarer på et reelt problem. Websider bærer på navigation, scripts, bannere og layout. En kort, kurateret Markdown-fil med links til rene versioner af de vigtigste sider er nemmere for en model at arbejde med inden for et begrænset kontekstvindue.
Hvad står der i en llms.txt-fil?
Filen er Markdown med en fast rækkefølge. Kun det første element er påkrævet:
- En H1 med navnet på sitet eller projektet (påkrævet).
- Et blokcitat med et kort resumé af, hvad sitet er.
- Valgfrie afsnit eller lister med flere detaljer, uden overskrifter.
- H2-sektioner, hver med en liste af Markdown-links på formen
[name](url), eventuelt efterfulgt af et kolon og en note. - En valgfri sektion kaldet
Optionaltil sekundære links, som et værktøj kan springe over, når det har brug for mindre kontekst.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
Forslaget foreslår også at tilbyde Markdown-versioner af sider på samme URL med .md tilføjet, for eksempel page.html.md, så værktøjer kan hente ren tekst.
Hvem læser egentlig llms.txt i dag?
Her gælder det om at være forsigtig. Ifølge llmstxt.org bruges filerne mest til softwaredokumentation, hvor kodeagenter følger dem. OpenAI, Anthropic, Google og Perplexity nævner ikke llms.txt blandt de signaler, deres søgecrawlere bruger, i den crawlerdokumentation, vi har gennemgået.
Google går videre for sine egne søgefunktioner. Dets vejledning om AI Overviews og AI Mode siger, at du ikke behøver at oprette nye maskinlæsbare filer, AI-tekstfiler eller markup for at vises i dem. For Google Søgning har llms.txt ingen angivet rolle.
Det ærlige svar er derfor: Nogle AI-værktøjer, mest kodeassistenter og agenter, der bliver henvist til et site, læser den måske. De crawlere, der afgør, om AI-søgning citerer din side, arbejder ud fra din HTML.
Du kan selv se, om noget læser din fil. Søg i din servers eller dit CDN's logfiler efter forespørgsler til /llms.txt, og se på user agents. Hvis der ikke kommer forespørgsler i løbet af nogle uger, siger det mere om dens værdi for dit site end enhver generel påstand.
Skal jeg tilføje en alligevel?
For de fleste sites er det et billigt tillæg med lav sikkerhed. Det tager få minutter, kan ikke skade din synlighed i søgning og hjælper måske agenter, der leder efter den. Den er mest nyttig til dokumentation, udviklerværktøjer og produkter med meget referencemateriale.
Hvad den ikke kan, er at løse adgangsproblemer. Hvis en firewall blokerer AI-crawlere, din robots.txt forbyder dem, eller dit indhold først vises, når JavaScript er kørt, ændrer llms.txt intet. Ret det først.
Hvordan skriver jeg en god llms.txt?
- Læg den på
https://yourdomain.com/llms.txt, og lever den som ren tekst med status 200, ikke som en HTML-side. - Skriv resuméet, som du ville forklare sitet til en ny kollega på to sætninger: hvad det er, og hvem det er til.
- List de sider, der besvarer rigtige spørgsmål: produkt, priser, dokumentation, politikker. Udelad tagsider og arkiver.
- Brug absolutte URL'er, og hold listen kort nok til at være nyttig; et par dusin links er rigeligt for de fleste sites.
- Hold den opdateret. En fil, der linker til fjernede sider, er værre end ingen.
- Brug den ikke til at angive tilladelser. Adgangsregler hører hjemme i robots.txt.
Hvordan behandler AISeeWhy llms.txt?
AISeeWhy tjekker, om dit site har en llms.txt, og om den undersøgte side står på den. Fordi AI-crawlere sjældent læser den i dag, er en manglende fil et P3-fund, den laveste prioritet, og rapporten indeholder et udkast bygget på din sidetitel, beskrivelse og sitemap, som du kan redigere og udgive.
Ofte stillede spørgsmål
Er llms.txt en officiel standard?
Nej. Det er et forslag fra fællesskabet, udgivet på llmstxt.org. Det er ikke en IETF- eller W3C-standard, og ingen AI-leverandør er forpligtet til at læse den.
Blokerer llms.txt AI-træning?
Nej. Den er en liste af links, ikke et sæt tilladelser. For at fravælge træning skal du bruge træningstokens i robots.txt, såsom GPTBot, ClaudeBot eller Google-Extended.
Har jeg brug for llms.txt for at blive vist i Google AI Overviews?
Nej. Google siger, at du ikke behøver AI-tekstfiler eller særlig markup for at blive vist i AI Overviews eller AI Mode. Siden skal være indekseret og kunne vises med et uddrag.
Kan llms.txt ligge i en undermappe?
Den nuværende version af forslaget tillader en fil på en understi, for eksempel /docs/llms.txt, som dækker siderne under den sti. De fleste sites har kun brug for én fil i roden.
Kilder
- llmstxt.org: filen /llms.txt
- Google Search Central: AI-funktioner og dit website
- OpenAI: oversigt over OpenAI's crawlere