Hva er llms.txt, og er det verdt å legge til?
llms.txt er en foreslått Markdown-fil på /llms.txt som gir AI-verktøy et kort sammendrag av nettstedet ditt og en liste over lenker til de mest nyttige sidene. Det er et forslag fra miljøet, ikke en standard, og de store AI-søkecrawlerne sier ikke at de bruker det. Det er billig å legge til, men erstatter ikke HTML som kan crawles.
llms.txt får mye oppmerksomhet og blir ofte presentert som AIs robots.txt. Det er noe annet: robots.txt oppgir hva crawlere får hente, mens llms.txt er en leseguide som peker AI-verktøy mot innhold som er verdt å lese. Her er hva forslaget sier, hva som er kjent om bruken, og hvordan du skriver en fil.
På denne siden
Hvor kommer llms.txt fra
Jeremy Howard foreslo filen /llms.txt i september 2024, og forslaget vedlikeholdes på llmstxt.org. Målet er å standardisere én fil som hjelper språkmodeller og agenter med å bruke et nettsted ved inferens, for eksempel når en kodeassistent trenger dokumentasjonen til et bibliotek, i stedet for til trening.
Ideen svarer på et reelt problem. Nettsider har navigasjon, skript, bannere og layout. En kort, kuratert Markdown-fil med lenker til rene versjoner av de viktigste sidene er enklere for en modell å jobbe med innenfor et begrenset kontekstvindu.
Hva står i en llms.txt-fil
Filen er Markdown med en fast rekkefølge. Bare det første elementet er påkrevd:
- En H1 med navnet på nettstedet eller prosjektet (påkrevd).
- Et blokksitat med et kort sammendrag av hva nettstedet er.
- Valgfrie avsnitt eller lister med flere detaljer, uten overskrifter.
- H2-seksjoner, hver med en liste over Markdown-lenker på formen
[name](url), eventuelt etterfulgt av et kolon og et notat. - En valgfri seksjon med navnet
Optionalfor sekundære lenker som et verktøy kan hoppe over når det trenger mindre kontekst.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
Forslaget foreslår også å tilby Markdown-versjoner av sider på samme URL med .md lagt til, for eksempel page.html.md, slik at verktøy kan hente ren tekst.
Hvem leser egentlig llms.txt i dag
Her lønner det seg å være forsiktig. Nettstedet llmstxt.org sier at filene brukes mest til programvaredokumentasjon, der kodeagenter følger dem. OpenAI, Anthropic, Google og Perplexity lister ikke llms.txt blant signalene søkecrawlerne deres bruker i crawler-dokumentasjonen vi har gått gjennom.
Google går lenger for sine egne søkefunksjoner. Veiledningen deres om AI-oversikter og AI-modus sier at du ikke trenger å lage nye maskinlesbare filer, AI-tekstfiler eller markup for å vises i dem. For Google Søk har llms.txt ingen oppgitt rolle.
Det ærlige svaret er altså: noen AI-verktøy, mest kodeassistenter og agenter som blir pekt mot et nettsted, kan lese den. Crawlerne som avgjør om AI-søk siterer siden din, jobber ut fra HTML-en din.
Du kan selv se om noe leser filen din. Søk i server- eller CDN-loggene etter forespørsler til /llms.txt og se på user agents. Hvis det ikke dukker opp forespørsler på noen uker, sier det mer om verdien for nettstedet ditt enn noen generell påstand.
Bør jeg legge til en likevel
For de fleste nettsteder er det et tillegg med lav kostnad og lav sikkerhet. Det tar noen minutter, kan ikke skade synligheten din i søk og kan hjelpe agenter som leter etter den. Det er mest nyttig for dokumentasjon, utviklerverktøy og produkter med mye referansemateriale.
Det den ikke kan gjøre, er å løse tilgangsproblemer. Hvis en brannmur blokkerer AI-crawlere, robots.txt nekter dem eller innholdet ditt først vises etter at JavaScript har kjørt, endrer llms.txt ingenting. Fiks de tingene først.
Hvordan skriver jeg en god llms.txt
- Legg den på
https://yourdomain.com/llms.txtog server den som ren tekst med status 200, ikke som en HTML-side. - Skriv sammendraget slik du ville forklart nettstedet for en ny kollega i to setninger: hva det er og hvem det er for.
- List sidene som svarer på reelle spørsmål: produkt, priser, dokumentasjon, retningslinjer. Hopp over tagsider og arkiver.
- Bruk absolutte URL-er og hold listen kort nok til å være nyttig; et par dusin lenker er nok for de fleste nettsteder.
- Hold den oppdatert. En fil som lenker til fjernede sider, er verre enn ingen fil.
- Ikke bruk den til å oppgi tillatelser. Tilgangsregler hører hjemme i robots.txt.
Hvordan behandler AISeeWhy llms.txt
AISeeWhy sjekker om nettstedet ditt har en llms.txt og om siden som revideres, står i den. Fordi AI-crawlere sjelden leser den i dag, er en manglende fil et P3-funn, den laveste prioriteten, og rapporten inneholder et utkast bygget på sidetittelen, beskrivelsen og sitemapet ditt som du kan redigere og publisere.
Vanlige spørsmål
Er llms.txt en offisiell standard?
Nei. Det er et forslag fra miljøet, publisert på llmstxt.org. Det er ikke en IETF- eller W3C-standard, og ingen AI-leverandør er forpliktet til å lese det.
Blokkerer llms.txt AI-trening?
Nei. Det er en liste over lenker, ikke et sett med tillatelser. Vil du velge bort trening, bruker du treningstokenene i robots.txt, for eksempel GPTBot, ClaudeBot eller Google-Extended.
Trenger jeg llms.txt for å vises i Googles AI-oversikter?
Nei. Google sier at du ikke trenger AI-tekstfiler eller spesiell markup for å vises i AI-oversikter eller AI-modus. Siden må være indeksert og kvalifisert for å vise et utdrag.
Kan llms.txt ligge i en undermappe?
Den nåværende versjonen av forslaget tillater en fil på en delsti, for eksempel /docs/llms.txt, som dekker sidene under den stien. De fleste nettsteder trenger bare én fil i roten.
Kilder
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers