Kaj je llms.txt in ali ga je vredno dodati?
llms.txt je predlagana datoteka Markdown na /llms.txt, ki orodjem UI da kratek povzetek vašega mesta in seznam povezav do njegovih najkoristnejših strani. Je predlog skupnosti, ne standard, glavni pajki za iskanje z UI pa ne pravijo, da ga uporabljajo. Dodati ga je poceni, vendar ne nadomesti HTML, ki ga pajki lahko preberejo.
llms.txt je deležen veliko pozornosti in ga pogosto predstavljajo kot robots.txt za UI. Gre za nekaj drugega: robots.txt pove, kaj smejo pajki prenesti, llms.txt pa je vodnik za branje, ki orodja UI usmeri k vsebini, ki jo je vredno prebrati. Tukaj je, kaj pravi predlog, kaj je znano o njegovi uporabi in kako ga napisati.
Na tej strani
Od kod prihaja llms.txt?
Jeremy Howard je datoteko /llms.txt predlagal septembra 2024, predlog pa se vzdržuje na llmstxt.org. Njegov cilj je standardizirati eno datoteko, ki jezikovnim modelom in agentom pomaga uporabljati spletno mesto ob sklepanju, na primer ko asistent za programiranje potrebuje dokumentacijo knjižnice, in ne za učenje.
Zamisel se odziva na resničen problem. Spletne strani vsebujejo navigacijo, skripte, pasice in postavitev. Kratka, skrbno izbrana datoteka Markdown s povezavami na čiste različice ključnih strani je za model v omejenem kontekstnem oknu lažja za delo.
Kaj vsebuje datoteka llms.txt?
Datoteka je v Markdownu s fiksnim vrstnim redom. Obvezen je samo prvi element:
- H1 z imenom spletnega mesta ali projekta (obvezno).
- Navedek s kratkim povzetkom, kaj je spletno mesto.
- Neobvezni odstavki ali seznami z več podrobnostmi, brez naslovov.
- Razdelki H2, vsak s seznamom povezav Markdown v obliki
[name](url), ki jim po želji sledita dvopičje in opomba. - Neobvezen razdelek z imenom
Optionalza drugotne povezave, ki jih orodje lahko preskoči, ko potrebuje manj konteksta.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Predlog priporoča tudi, da ponudite različice strani v Markdownu na istem URL-ju z dodanim .md, na primer page.html.md, da lahko orodja prenesejo čisto besedilo.
Kdo danes dejansko bere llms.txt?
Tukaj se splača biti previden. Spletno mesto llmstxt.org pravi, da se datoteke najbolj uporabljajo za dokumentacijo programske opreme, kjer jim sledijo agenti za programiranje. OpenAI, Anthropic, Google in Perplexity v dokumentaciji o pajkih, ki smo jo pregledali, llms.txt ne navajajo med signali, ki jih uporabljajo njihovi pajki za iskanje.
Google gre za svoje funkcije Iskanja še dlje. Njegove smernice za AI Overviews in AI Mode pravijo, da za pojavljanje v njih ni treba ustvariti novih strojno berljivih datotek, besedilnih datotek za UI ali oznak. Za Google Iskanje llms.txt nima navedene vloge.
Pošten odgovor je torej: nekatera orodja UI, večinoma asistenti za programiranje in agenti, ki jih usmerite na mesto, ga morda berejo. Pajki, ki odločajo, ali vašo stran citira iskanje z UI, delajo z vašim HTML.
Sami lahko vidite, ali kaj bere vašo datoteko. V dnevnikih strežnika ali CDN poiščite zahteve za /llms.txt in poglejte user agente. Če v nekaj tednih ni nobene zahteve, vam to o njeni vrednosti za vaše mesto pove več kot katera koli splošna trditev.
Naj ga vseeno dodam?
Za večino mest je to poceni dodatek z negotovim učinkom. Vzame nekaj minut, ne more škodovati vaši vidnosti v iskanju in morda pomaga agentom, ki ga iščejo. Najbolj koristen je za dokumentacijo, razvijalska orodja in izdelke z veliko referenčnega gradiva.
Česar ne more, je odpraviti težave z dostopom. Če požarni zid blokira pajke UI, jih vaš robots.txt prepoveduje ali se vaša vsebina pojavi šele po zagonu JavaScripta, llms.txt ne spremeni ničesar. Najprej odpravite te težave.
Kako napišem dober llms.txt?
- Postavite ga na
https://yourdomain.com/llms.txtin ga strezite kot navadno besedilo s statusom 200, ne kot stran HTML. - Povzetek napišite tako, kot bi mesto v dveh stavkih razložili novemu sodelavcu: kaj je in komu je namenjeno.
- Navedite strani, ki odgovarjajo na resnična vprašanja: izdelek, cene, dokumentacija, pravilniki. Strani z oznakami in arhive izpustite.
- Uporabite absolutne URL-je in seznam ohranite dovolj kratek, da ostane uporaben; za večino mest je nekaj deset povezav dovolj.
- Skrbite, da je ažuren. Datoteka s povezavami na odstranjene strani je slabša kot nobena.
- Ne uporabljajte je za izražanje dovoljenj. Pravila dostopa sodijo v robots.txt.
Kako AISeeWhy obravnava llms.txt?
AISeeWhy preveri, ali ima vaše mesto llms.txt in ali je analizirana stran navedena v njem. Ker ga pajki UI danes redko berejo, je manjkajoča datoteka ugotovitev P3, najnižje prioritete, poročilo pa vključuje osnutek, sestavljen iz naslova strani, opisa in zemljevida strani, ki ga lahko uredite in objavite.
Popravki za to težavo
- Datoteke za odkrivanje agentov ni mogoče prebrati
- Različica v Markdownu za agente ne deluje
- Odgovor v Markdownu brez Vary: Accept
- Ni različice v Markdownu za agente UI
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje in validator llms.txt
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali je llms.txt uradni standard?
Ne. Je predlog skupnosti, objavljen na llmstxt.org. Ni standard IETF ali W3C in noben ponudnik UI ga ni dolžan brati.
Ali llms.txt blokira učenje UI?
Ne. Je seznam povezav, ne nabor dovoljenj. Za zavrnitev učenja uporabite žetone za učenje v robots.txt, kot so GPTBot, ClaudeBot ali Google-Extended.
Ali za pojavljanje v Google AI Overviews potrebujem llms.txt?
Ne. Google pravi, da za pojavljanje v AI Overviews ali AI Mode ne potrebujete besedilnih datotek za UI ali posebnih oznak. Stran mora biti indeksirana in primerna za prikaz izseka.
Ali je llms.txt lahko v podmapi?
Trenutna različica predloga dovoljuje datoteko na podpoti, na primer /docs/llms.txt, ki zajema strani pod to potjo. Večina mest potrebuje samo eno datoteko v korenu.
Viri
- llmstxt.org: datoteka /llms.txt
- Google Search Central: funkcije UI in vaše spletno mesto
- OpenAI: pregled pajkov OpenAI