Što je llms.txt i isplati li se dodati ga?
llms.txt je predložena datoteka u Markdownu na /llms.txt koja AI alatima daje kratak sažetak vaše web-stranice i popis poveznica na njezine najkorisnije stranice. To je prijedlog zajednice, a ne standard, i glavni AI crawleri za pretraživanje ne navode da ga koriste. Dodavanje malo stoji, ali ne zamjenjuje HTML koji crawleri mogu pročitati.
llms.txt privlači mnogo pozornosti i često se predstavlja kao robots.txt za AI. Riječ je o nečemu drugom: robots.txt navodi što crawleri smiju dohvatiti, dok je llms.txt vodič za čitanje koji AI alate upućuje na sadržaj koji vrijedi pročitati. Evo što prijedlog navodi, što se zna o njegovu korištenju i kako ga napisati.
Na ovoj stranici
Odakle dolazi llms.txt?
Jeremy Howard predložio je datoteku /llms.txt u rujnu 2024., a prijedlog se održava na llmstxt.org. Cilj mu je standardizirati jednu datoteku koja jezičnim modelima i agentima pomaže koristiti web-stranicu u trenutku izvođenja, na primjer kad asistentu za programiranje treba dokumentacija neke biblioteke, a ne za treniranje.
Ideja odgovara na stvaran problem. Web-stranice sadrže navigaciju, skripte, natpise i raspored. Kratka, pažljivo odabrana datoteka u Markdownu s poveznicama na čiste verzije ključnih stranica modelu je lakša za rad unutar ograničenog kontekstnog prozora.
Što ide u datoteku llms.txt?
Datoteka je u Markdownu, sa stalnim redoslijedom. Obavezan je samo prvi element:
- H1 s nazivom web-stranice ili projekta (obavezno).
- Citatni blok s kratkim sažetkom o tome što je web-stranica.
- Neobavezni odlomci ili popisi s više detalja, bez naslova.
- Odjeljci H2, svaki s popisom poveznica u Markdownu u obliku
[name](url), po želji s dvotočkom i napomenom. - Neobavezan odjeljak naziva
Optionalza sporedne poveznice koje alat može preskočiti kad mu treba manje konteksta.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Prijedlog također predlaže nuđenje verzija stranica u Markdownu na istom URL-u s dodanim .md, na primjer page.html.md, kako bi alati mogli dohvatiti čist tekst.
Tko danas stvarno čita llms.txt?
Ovdje se isplati biti oprezan. Web-stranica llmstxt.org navodi da se te datoteke najviše koriste za dokumentaciju softvera, gdje ih slijede agenti za programiranje. OpenAI, Anthropic, Google i Perplexity u dokumentaciji o crawlerima koju smo pregledali ne navode llms.txt među signalima koje koriste njihovi crawleri za pretraživanje.
Google ide i dalje kad je riječ o njegovim značajkama pretraživanja. Njegove smjernice za AI Overviews i AI Mode navode da za pojavljivanje u njima ne trebate stvarati nove strojno čitljive datoteke, AI tekstne datoteke ni oznake. Za Google pretraživanje llms.txt nema navedenu ulogu.
Iskren je odgovor dakle: neki AI alati, uglavnom asistenti za programiranje i agenti koje netko usmjeri na web-stranicu, možda ga čitaju. Crawleri koji odlučuju hoće li AI pretraživanje citirati vašu stranicu rade s vašim HTML-om.
Sami možete vidjeti čita li išta vašu datoteku. U zapisnicima poslužitelja ili CDN-a potražite zahtjeve za /llms.txt i pogledajte user agente. Ako se tijekom nekoliko tjedana ne pojavi nijedan zahtjev, to vam o njegovoj vrijednosti za vašu web-stranicu govori više od bilo koje opće tvrdnje.
Trebam li ga ipak dodati?
Za većinu web-stranica to je jeftin dodatak nesigurne koristi. Traje nekoliko minuta, ne može naštetiti vašoj vidljivosti u pretraživanju i može pomoći agentima koji ga traže. Najkorisniji je za dokumentaciju, alate za programere i proizvode s mnogo referentnog materijala.
Ono što ne može jest ispraviti probleme s pristupom. Ako vatrozid blokira AI crawlere, vaš ih robots.txt zabranjuje ili se vaš sadržaj pojavljuje tek nakon izvođenja JavaScripta, llms.txt ništa ne mijenja. Najprije ispravite to.
Kako napisati dobar llms.txt?
- Postavite ga na
https://yourdomain.com/llms.txti poslužujte ga kao običan tekst sa statusom 200, a ne kao HTML stranicu. - Sažetak napišite onako kako biste web-stranicu objasnili novom kolegi u dvije rečenice: što je i kome je namijenjena.
- Navedite stranice koje odgovaraju na stvarna pitanja: proizvod, cijene, dokumentaciju, pravila. Preskočite stranice oznaka i arhive.
- Koristite apsolutne URL-ove i popis držite dovoljno kratkim da ostane koristan; nekoliko desetaka poveznica dovoljno je za većinu web-stranica.
- Održavajte ga ažurnim. Datoteka s poveznicama na uklonjene stranice gora je nego nikakva.
- Ne koristite ga za izražavanje dopuštenja. Pravila pristupa pripadaju u robots.txt.
Kako AISeeWhy tretira llms.txt?
AISeeWhy provjerava ima li vaša web-stranica llms.txt i je li revidirana stranica navedena u njemu. Budući da ga AI crawleri danas rijetko čitaju, datoteka koja nedostaje nalaz je P3, najnižeg prioriteta, a izvještaj uključuje nacrt izrađen iz naslova, opisa i sitemapa vaše stranice koji možete urediti i objaviti.
Ispravci za ovaj problem
- Datoteka za otkrivanje agenata ne može se pročitati
- Markdown verzija za agente ne radi
- Markdown odgovor bez Vary: Accept
- Nema Markdown verzije za AI agente
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera i validator llms.txt
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Je li llms.txt službeni standard?
Nije. To je prijedlog zajednice objavljen na llmstxt.org. Nije standard IETF-a ni W3C-a i nijedan ga AI dobavljač nije dužan čitati.
Blokira li llms.txt AI treniranje?
Ne. To je popis poveznica, a ne skup dopuštenja. Za isključenje iz treniranja koristite tokene za treniranje u robots.txt, poput GPTBot, ClaudeBot ili Google-Extended.
Treba li mi llms.txt za pojavljivanje u Google AI Overviews?
Ne. Google navodi da za pojavljivanje u AI Overviews ili AI Mode ne trebate AI tekstne datoteke ni posebne oznake. Stranica mora biti indeksirana i smjeti prikazati isječak.
Može li llms.txt biti u podmapi?
Trenutačna verzija prijedloga dopušta datoteku na podputanji, poput /docs/llms.txt, koja obuhvaća stranice pod tom putanjom. Većini web-stranica treba samo jedna datoteka u korijenu.
Izvori
- llmstxt.org: datoteka /llms.txt
- Google Search Central: AI značajke i vaša web-stranica
- OpenAI: pregled crawlera OpenAI-ja