Hva er llms.txt, og er det verdt å legge til?

Publisert

Kort svar

llms.txt er en foreslått Markdown-fil på /llms.txt som gir AI-verktøy et kort sammendrag av nettstedet ditt og en liste over lenker til de mest nyttige sidene. Det er et forslag fra miljøet, ikke en standard, og de store AI-søkecrawlerne sier ikke at de bruker det. Det er billig å legge til, men erstatter ikke HTML som kan crawles.

llms.txt får mye oppmerksomhet og blir ofte presentert som AIs robots.txt. Det er noe annet: robots.txt oppgir hva crawlere får hente, mens llms.txt er en leseguide som peker AI-verktøy mot innhold som er verdt å lese. Her er hva forslaget sier, hva som er kjent om bruken, og hvordan du skriver en fil.

På denne siden
  1. Hvor kommer llms.txt fra
  2. Hva står i en llms.txt-fil
  3. Hvem leser egentlig llms.txt i dag
  4. Bør jeg legge til en likevel
  5. Hvordan skriver jeg en god llms.txt
  6. Hvordan behandler AISeeWhy llms.txt

Hvor kommer llms.txt fra

Jeremy Howard foreslo filen /llms.txt i september 2024, og forslaget vedlikeholdes på llmstxt.org. Målet er å standardisere én fil som hjelper språkmodeller og agenter med å bruke et nettsted ved inferens, for eksempel når en kodeassistent trenger dokumentasjonen til et bibliotek, i stedet for til trening.

Ideen svarer på et reelt problem. Nettsider har navigasjon, skript, bannere og layout. En kort, kuratert Markdown-fil med lenker til rene versjoner av de viktigste sidene er enklere for en modell å jobbe med innenfor et begrenset kontekstvindu.

Hva står i en llms.txt-fil

Filen er Markdown med en fast rekkefølge. Bare det første elementet er påkrevd:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Forslaget foreslår også å tilby Markdown-versjoner av sider på samme URL med .md lagt til, for eksempel page.html.md, slik at verktøy kan hente ren tekst.

Hvem leser egentlig llms.txt i dag

Her lønner det seg å være forsiktig. Nettstedet llmstxt.org sier at filene brukes mest til programvaredokumentasjon, der kodeagenter følger dem. OpenAI, Anthropic, Google og Perplexity lister ikke llms.txt blant signalene søkecrawlerne deres bruker i crawler-dokumentasjonen vi har gått gjennom.

Google går lenger for sine egne søkefunksjoner. Veiledningen deres om AI-oversikter og AI-modus sier at du ikke trenger å lage nye maskinlesbare filer, AI-tekstfiler eller markup for å vises i dem. For Google Søk har llms.txt ingen oppgitt rolle.

Det ærlige svaret er altså: noen AI-verktøy, mest kodeassistenter og agenter som blir pekt mot et nettsted, kan lese den. Crawlerne som avgjør om AI-søk siterer siden din, jobber ut fra HTML-en din.

Du kan selv se om noe leser filen din. Søk i server- eller CDN-loggene etter forespørsler til /llms.txt og se på user agents. Hvis det ikke dukker opp forespørsler på noen uker, sier det mer om verdien for nettstedet ditt enn noen generell påstand.

Bør jeg legge til en likevel

For de fleste nettsteder er det et tillegg med lav kostnad og lav sikkerhet. Det tar noen minutter, kan ikke skade synligheten din i søk og kan hjelpe agenter som leter etter den. Det er mest nyttig for dokumentasjon, utviklerverktøy og produkter med mye referansemateriale.

Det den ikke kan gjøre, er å løse tilgangsproblemer. Hvis en brannmur blokkerer AI-crawlere, robots.txt nekter dem eller innholdet ditt først vises etter at JavaScript har kjørt, endrer llms.txt ingenting. Fiks de tingene først.

Hvordan skriver jeg en god llms.txt

Hvordan behandler AISeeWhy llms.txt

AISeeWhy sjekker om nettstedet ditt har en llms.txt og om siden som revideres, står i den. Fordi AI-crawlere sjelden leser den i dag, er en manglende fil et P3-funn, den laveste prioriteten, og rapporten inneholder et utkast bygget på sidetittelen, beskrivelsen og sitemapet ditt som du kan redigere og publisere.

Vanlige spørsmål

Er llms.txt en offisiell standard?

Nei. Det er et forslag fra miljøet, publisert på llmstxt.org. Det er ikke en IETF- eller W3C-standard, og ingen AI-leverandør er forpliktet til å lese det.

Blokkerer llms.txt AI-trening?

Nei. Det er en liste over lenker, ikke et sett med tillatelser. Vil du velge bort trening, bruker du treningstokenene i robots.txt, for eksempel GPTBot, ClaudeBot eller Google-Extended.

Trenger jeg llms.txt for å vises i Googles AI-oversikter?

Nei. Google sier at du ikke trenger AI-tekstfiler eller spesiell markup for å vises i AI-oversikter eller AI-modus. Siden må være indeksert og kvalifisert for å vise et utdrag.

Kan llms.txt ligge i en undermappe?

Den nåværende versjonen av forslaget tillater en fil på en delsti, for eksempel /docs/llms.txt, som dekker sidene under den stien. De fleste nettsteder trenger bare én fil i roten.

Kilder

Flere artikler