Kaj je llms.txt in ali ga je vredno dodati?

Objavljeno

Kratek odgovor

llms.txt je predlagana datoteka Markdown na /llms.txt, ki orodjem UI da kratek povzetek vašega mesta in seznam povezav do njegovih najkoristnejših strani. Je predlog skupnosti, ne standard, glavni pajki za iskanje z UI pa ne pravijo, da ga uporabljajo. Dodati ga je poceni, vendar ne nadomesti HTML, ki ga pajki lahko preberejo.

llms.txt je deležen veliko pozornosti in ga pogosto predstavljajo kot robots.txt za UI. Gre za nekaj drugega: robots.txt pove, kaj smejo pajki prenesti, llms.txt pa je vodnik za branje, ki orodja UI usmeri k vsebini, ki jo je vredno prebrati. Tukaj je, kaj pravi predlog, kaj je znano o njegovi uporabi in kako ga napisati.

Na tej strani
  1. Od kod prihaja llms.txt?
  2. Kaj vsebuje datoteka llms.txt?
  3. Kdo danes dejansko bere llms.txt?
  4. Naj ga vseeno dodam?
  5. Kako napišem dober llms.txt?
  6. Kako AISeeWhy obravnava llms.txt?

Od kod prihaja llms.txt?

Jeremy Howard je datoteko /llms.txt predlagal septembra 2024, predlog pa se vzdržuje na llmstxt.org. Njegov cilj je standardizirati eno datoteko, ki jezikovnim modelom in agentom pomaga uporabljati spletno mesto ob sklepanju, na primer ko asistent za programiranje potrebuje dokumentacijo knjižnice, in ne za učenje.

Zamisel se odziva na resničen problem. Spletne strani vsebujejo navigacijo, skripte, pasice in postavitev. Kratka, skrbno izbrana datoteka Markdown s povezavami na čiste različice ključnih strani je za model v omejenem kontekstnem oknu lažja za delo.

Kaj vsebuje datoteka llms.txt?

Datoteka je v Markdownu s fiksnim vrstnim redom. Obvezen je samo prvi element:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Predlog priporoča tudi, da ponudite različice strani v Markdownu na istem URL-ju z dodanim .md, na primer page.html.md, da lahko orodja prenesejo čisto besedilo.

Kdo danes dejansko bere llms.txt?

Tukaj se splača biti previden. Spletno mesto llmstxt.org pravi, da se datoteke najbolj uporabljajo za dokumentacijo programske opreme, kjer jim sledijo agenti za programiranje. OpenAI, Anthropic, Google in Perplexity v dokumentaciji o pajkih, ki smo jo pregledali, llms.txt ne navajajo med signali, ki jih uporabljajo njihovi pajki za iskanje.

Google gre za svoje funkcije Iskanja še dlje. Njegove smernice za AI Overviews in AI Mode pravijo, da za pojavljanje v njih ni treba ustvariti novih strojno berljivih datotek, besedilnih datotek za UI ali oznak. Za Google Iskanje llms.txt nima navedene vloge.

Pošten odgovor je torej: nekatera orodja UI, večinoma asistenti za programiranje in agenti, ki jih usmerite na mesto, ga morda berejo. Pajki, ki odločajo, ali vašo stran citira iskanje z UI, delajo z vašim HTML.

Sami lahko vidite, ali kaj bere vašo datoteko. V dnevnikih strežnika ali CDN poiščite zahteve za /llms.txt in poglejte user agente. Če v nekaj tednih ni nobene zahteve, vam to o njeni vrednosti za vaše mesto pove več kot katera koli splošna trditev.

Naj ga vseeno dodam?

Za večino mest je to poceni dodatek z negotovim učinkom. Vzame nekaj minut, ne more škodovati vaši vidnosti v iskanju in morda pomaga agentom, ki ga iščejo. Najbolj koristen je za dokumentacijo, razvijalska orodja in izdelke z veliko referenčnega gradiva.

Česar ne more, je odpraviti težave z dostopom. Če požarni zid blokira pajke UI, jih vaš robots.txt prepoveduje ali se vaša vsebina pojavi šele po zagonu JavaScripta, llms.txt ne spremeni ničesar. Najprej odpravite te težave.

Kako napišem dober llms.txt?

Kako AISeeWhy obravnava llms.txt?

AISeeWhy preveri, ali ima vaše mesto llms.txt in ali je analizirana stran navedena v njem. Ker ga pajki UI danes redko berejo, je manjkajoča datoteka ugotovitev P3, najnižje prioritete, poročilo pa vključuje osnutek, sestavljen iz naslova strani, opisa in zemljevida strani, ki ga lahko uredite in objavite.

Popravki za to težavo

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali je llms.txt uradni standard?

Ne. Je predlog skupnosti, objavljen na llmstxt.org. Ni standard IETF ali W3C in noben ponudnik UI ga ni dolžan brati.

Ali llms.txt blokira učenje UI?

Ne. Je seznam povezav, ne nabor dovoljenj. Za zavrnitev učenja uporabite žetone za učenje v robots.txt, kot so GPTBot, ClaudeBot ali Google-Extended.

Ali za pojavljanje v Google AI Overviews potrebujem llms.txt?

Ne. Google pravi, da za pojavljanje v AI Overviews ali AI Mode ne potrebujete besedilnih datotek za UI ali posebnih oznak. Stran mora biti indeksirana in primerna za prikaz izseka.

Ali je llms.txt lahko v podmapi?

Trenutna različica predloga dovoljuje datoteko na podpoti, na primer /docs/llms.txt, ki zajema strani pod to potjo. Večina mest potrebuje samo eno datoteko v korenu.

Viri

Več člankov