Co je llms.txt a vyplatí se ho přidat?
llms.txt je navrhovaný soubor v Markdownu na adrese /llms.txt, který AI nástrojům poskytuje stručné shrnutí vašeho webu a seznam odkazů na jeho nejužitečnější stránky. Je to návrh komunity, ne standard, a hlavní AI vyhledávací crawlery neuvádějí, že ho používají. Přidat ho je levné, ale nenahrazuje HTML, které lze procházet.
llms.txt se těší velké pozornosti a často se představuje jako robots.txt pro AI. Je to ale něco jiného: robots.txt říká, co smějí crawlery stahovat, zatímco llms.txt je průvodce čtením, který AI nástrojům ukazuje obsah, který stojí za přečtení. Zde je, co návrh říká, co je známo o jeho využití a jak ho napsat.
Na této stránce
Odkud llms.txt pochází?
Jeremy Howard navrhl soubor /llms.txt v září 2024 a návrh je udržován na llmstxt.org. Jeho cílem je standardizovat jeden soubor, který pomáhá jazykovým modelům a agentům používat web v okamžiku inference, například když programovací asistent potřebuje dokumentaci knihovny, ne k trénování.
Myšlenka reaguje na skutečný problém. Webové stránky obsahují navigaci, skripty, bannery a rozvržení. Krátký, pečlivě vybraný soubor v Markdownu s odkazy na čisté verze klíčových stránek se modelu v omezeném kontextovém okně zpracovává snáze.
Co patří do souboru llms.txt?
Soubor je v Markdownu s pevným pořadím. Povinný je pouze první prvek:
- Nadpis H1 s názvem webu nebo projektu (povinný).
- Citační blok (blockquote) s krátkým shrnutím, o čem web je.
- Volitelné odstavce nebo seznamy s dalšími podrobnostmi, bez nadpisů.
- Sekce H2, každá se seznamem odkazů v Markdownu ve tvaru
[name](url), volitelně následovaných dvojtečkou a poznámkou. - Volitelná sekce s názvem
Optionalpro vedlejší odkazy, které může nástroj přeskočit, když potřebuje méně kontextu.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
Návrh také doporučuje nabízet verze stránek v Markdownu na stejné adrese URL s připojenou příponou .md, například page.html.md, aby nástroje mohly stáhnout čistý text.
Kdo llms.txt dnes skutečně čte?
Tady se vyplatí opatrnost. Web llmstxt.org uvádí, že soubory se nejvíce využívají pro dokumentaci softwaru, kde je následují programovací agenti. OpenAI, Anthropic, Google ani Perplexity llms.txt neuvádějí mezi signály, které jejich vyhledávací crawlery používají, v dokumentaci crawlerů, kterou jsme prošli.
Google jde u svých vlastních funkcí Search ještě dál. Jeho pokyny k AI Overviews a AI Mode říkají, že pro zobrazení v nich nemusíte vytvářet žádné nové strojově čitelné soubory, textové soubory pro AI ani značení. Pro Google Search nemá llms.txt žádnou uvedenou roli.
Upřímná odpověď tedy zní: některé AI nástroje, hlavně programovací asistenti a agenti nasměrovaní na web, ho číst mohou. Crawlery, které rozhodují o tom, zda AI vyhledávání vaši stránku cituje, pracují s vaším HTML.
Sami můžete zjistit, zda váš soubor něco čte. Hledejte v logech serveru nebo CDN požadavky na /llms.txt a podívejte se na user agenty. Pokud se během několika týdnů neobjeví žádný požadavek, řekne vám to o jeho hodnotě pro váš web víc než jakékoli obecné tvrzení.
Mám ho přesto přidat?
U většiny webů jde o levný přídavek s malou jistotou. Zabere pár minut, vaší viditelnosti ve vyhledávání neuškodí a může pomoci agentům, kteří ho hledají. Nejužitečnější je pro dokumentaci, vývojářské nástroje a produkty s množstvím referenčního materiálu.
Co nedokáže, je vyřešit problémy s přístupem. Pokud AI crawlery blokuje firewall, váš robots.txt jim zakazuje přístup nebo se váš obsah objeví až po spuštění JavaScriptu, llms.txt nic nezmění. Opravte nejdřív to.
Jak napsat dobrý llms.txt?
- Umístěte ho na
https://yourdomain.com/llms.txta servírujte jako prostý text se stavem 200, ne jako HTML stránku. - Shrnutí napište tak, jak byste web vysvětlili novému kolegovi ve dvou větách: co to je a pro koho.
- Uveďte stránky, které odpovídají na skutečné otázky: produkt, ceník, dokumentaci, zásady. Vynechte stránky se štítky a archivy.
- Používejte absolutní adresy URL a seznam držte tak krátký, aby zůstal užitečný; pro většinu webů stačí pár desítek odkazů.
- Udržujte ho aktuální. Soubor odkazující na odstraněné stránky je horší než žádný.
- Nepoužívejte ho k vyjádření oprávnění. Pravidla přístupu patří do robots.txt.
Jak s llms.txt zachází AISeeWhy?
AISeeWhy kontroluje, zda váš web má llms.txt a zda je v něm auditovaná stránka uvedena. Protože ho dnes AI crawlery čtou jen zřídka, je chybějící soubor zjištěním P3, tedy s nejnižší prioritou, a zpráva obsahuje koncept sestavený z titulku, popisu a sitemapy vaší stránky, který můžete upravit a zveřejnit.
Časté dotazy
Je llms.txt oficiální standard?
Ne. Je to návrh komunity zveřejněný na llmstxt.org. Není to standard IETF ani W3C a žádný dodavatel AI není povinen ho číst.
Blokuje llms.txt trénování AI?
Ne. Je to seznam odkazů, ne sada oprávnění. K odhlášení z trénování použijte trénovací tokeny v robots.txt, například GPTBot, ClaudeBot nebo Google-Extended.
Potřebuji llms.txt, abych se zobrazil v Google AI Overviews?
Ne. Google uvádí, že pro zobrazení v AI Overviews nebo AI Mode nepotřebujete textové soubory pro AI ani speciální značení. Stránka musí být indexovaná a způsobilá k zobrazení úryvku.
Může být llms.txt v podsložce?
Aktuální verze návrhu umožňuje soubor v podcestě, například /docs/llms.txt, který pokrývá stránky pod touto cestou. Většině webů stačí jeden soubor v kořeni.
Zdroje
- llmstxt.org: soubor /llms.txt
- Google Search Central: funkce AI a váš web
- OpenAI: přehled crawlerů OpenAI