Što je llms.txt i isplati li se dodati ga?

Objavljeno

Kratki odgovor

llms.txt je predložena datoteka u Markdownu na /llms.txt koja AI alatima daje kratak sažetak vaše web-stranice i popis poveznica na njezine najkorisnije stranice. To je prijedlog zajednice, a ne standard, i glavni AI crawleri za pretraživanje ne navode da ga koriste. Dodavanje malo stoji, ali ne zamjenjuje HTML koji crawleri mogu pročitati.

llms.txt privlači mnogo pozornosti i često se predstavlja kao robots.txt za AI. Riječ je o nečemu drugom: robots.txt navodi što crawleri smiju dohvatiti, dok je llms.txt vodič za čitanje koji AI alate upućuje na sadržaj koji vrijedi pročitati. Evo što prijedlog navodi, što se zna o njegovu korištenju i kako ga napisati.

Na ovoj stranici
  1. Odakle dolazi llms.txt?
  2. Što ide u datoteku llms.txt?
  3. Tko danas stvarno čita llms.txt?
  4. Trebam li ga ipak dodati?
  5. Kako napisati dobar llms.txt?
  6. Kako AISeeWhy tretira llms.txt?

Odakle dolazi llms.txt?

Jeremy Howard predložio je datoteku /llms.txt u rujnu 2024., a prijedlog se održava na llmstxt.org. Cilj mu je standardizirati jednu datoteku koja jezičnim modelima i agentima pomaže koristiti web-stranicu u trenutku izvođenja, na primjer kad asistentu za programiranje treba dokumentacija neke biblioteke, a ne za treniranje.

Ideja odgovara na stvaran problem. Web-stranice sadrže navigaciju, skripte, natpise i raspored. Kratka, pažljivo odabrana datoteka u Markdownu s poveznicama na čiste verzije ključnih stranica modelu je lakša za rad unutar ograničenog kontekstnog prozora.

Što ide u datoteku llms.txt?

Datoteka je u Markdownu, sa stalnim redoslijedom. Obavezan je samo prvi element:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Prijedlog također predlaže nuđenje verzija stranica u Markdownu na istom URL-u s dodanim .md, na primjer page.html.md, kako bi alati mogli dohvatiti čist tekst.

Tko danas stvarno čita llms.txt?

Ovdje se isplati biti oprezan. Web-stranica llmstxt.org navodi da se te datoteke najviše koriste za dokumentaciju softvera, gdje ih slijede agenti za programiranje. OpenAI, Anthropic, Google i Perplexity u dokumentaciji o crawlerima koju smo pregledali ne navode llms.txt među signalima koje koriste njihovi crawleri za pretraživanje.

Google ide i dalje kad je riječ o njegovim značajkama pretraživanja. Njegove smjernice za AI Overviews i AI Mode navode da za pojavljivanje u njima ne trebate stvarati nove strojno čitljive datoteke, AI tekstne datoteke ni oznake. Za Google pretraživanje llms.txt nema navedenu ulogu.

Iskren je odgovor dakle: neki AI alati, uglavnom asistenti za programiranje i agenti koje netko usmjeri na web-stranicu, možda ga čitaju. Crawleri koji odlučuju hoće li AI pretraživanje citirati vašu stranicu rade s vašim HTML-om.

Sami možete vidjeti čita li išta vašu datoteku. U zapisnicima poslužitelja ili CDN-a potražite zahtjeve za /llms.txt i pogledajte user agente. Ako se tijekom nekoliko tjedana ne pojavi nijedan zahtjev, to vam o njegovoj vrijednosti za vašu web-stranicu govori više od bilo koje opće tvrdnje.

Trebam li ga ipak dodati?

Za većinu web-stranica to je jeftin dodatak nesigurne koristi. Traje nekoliko minuta, ne može naštetiti vašoj vidljivosti u pretraživanju i može pomoći agentima koji ga traže. Najkorisniji je za dokumentaciju, alate za programere i proizvode s mnogo referentnog materijala.

Ono što ne može jest ispraviti probleme s pristupom. Ako vatrozid blokira AI crawlere, vaš ih robots.txt zabranjuje ili se vaš sadržaj pojavljuje tek nakon izvođenja JavaScripta, llms.txt ništa ne mijenja. Najprije ispravite to.

Kako napisati dobar llms.txt?

Kako AISeeWhy tretira llms.txt?

AISeeWhy provjerava ima li vaša web-stranica llms.txt i je li revidirana stranica navedena u njemu. Budući da ga AI crawleri danas rijetko čitaju, datoteka koja nedostaje nalaz je P3, najnižeg prioriteta, a izvještaj uključuje nacrt izrađen iz naslova, opisa i sitemapa vaše stranice koji možete urediti i objaviti.

Ispravci za ovaj problem

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Je li llms.txt službeni standard?

Nije. To je prijedlog zajednice objavljen na llmstxt.org. Nije standard IETF-a ni W3C-a i nijedan ga AI dobavljač nije dužan čitati.

Blokira li llms.txt AI treniranje?

Ne. To je popis poveznica, a ne skup dopuštenja. Za isključenje iz treniranja koristite tokene za treniranje u robots.txt, poput GPTBot, ClaudeBot ili Google-Extended.

Treba li mi llms.txt za pojavljivanje u Google AI Overviews?

Ne. Google navodi da za pojavljivanje u AI Overviews ili AI Mode ne trebate AI tekstne datoteke ni posebne oznake. Stranica mora biti indeksirana i smjeti prikazati isječak.

Može li llms.txt biti u podmapi?

Trenutačna verzija prijedloga dopušta datoteku na podputanji, poput /docs/llms.txt, koja obuhvaća stranice pod tom putanjom. Većini web-stranica treba samo jedna datoteka u korijenu.

Izvori

Još članaka