Čo je llms.txt a oplatí sa ho pridať?
llms.txt je navrhovaný súbor v Markdowne na adrese /llms.txt, ktorý nástrojom AI dáva krátky súhrn vášho webu a zoznam odkazov na jeho najužitočnejšie stránky. Je to komunitný návrh, nie štandard, a hlavné AI vyhľadávacie crawlery neuvádzajú, že ho používajú. Pridať ho je lacné, ale prehľadávateľné HTML nenahrádza.
llms.txt dostáva veľa pozornosti a často sa prezentuje ako robots.txt pre AI. Je to niečo iné: robots.txt uvádza, čo smú crawlery sťahovať, kým llms.txt je sprievodca čítaním, ktorý nástroje AI navedie na obsah, ktorý sa oplatí čítať. Tu je, čo návrh hovorí, čo sa vie o jeho používaní a ako ho napísať.
Na tejto stránke
Odkiaľ llms.txt pochádza?
Súbor /llms.txt navrhol Jeremy Howard v septembri 2024 a návrh sa udržiava na llmstxt.org. Jeho cieľom je štandardizovať jeden súbor, ktorý jazykovým modelom a agentom pomáha používať web v čase inferencie, napríklad keď asistent na programovanie potrebuje dokumentáciu knižnice, a nie pri trénovaní.
Myšlienka reaguje na skutočný problém. Webové stránky obsahujú navigáciu, skripty, bannery a rozloženie. Krátky, starostlivo zostavený súbor v Markdowne s odkazmi na čisté verzie kľúčových stránok sa modelu v obmedzenom kontextovom okne spracúva ľahšie.
Čo patrí do súboru llms.txt?
Súbor je v Markdowne s pevným poradím. Povinný je len prvý prvok:
- H1 s názvom webu alebo projektu (povinné).
- Citačný blok s krátkym súhrnom toho, čo je web zač.
- Voliteľné odseky alebo zoznamy s podrobnosťami, bez nadpisov.
- Sekcie H2, každá so zoznamom odkazov v Markdowne v tvare
[name](url), voliteľne s dvojbodkou a poznámkou. - Voliteľná sekcia s názvom
Optionalpre vedľajšie odkazy, ktoré nástroj môže preskočiť, keď potrebuje menej kontextu.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Návrh tiež odporúča ponúkať verzie stránok v Markdowne na tej istej URL s pridaným .md, napríklad page.html.md, aby nástroje mohli stiahnuť čistý text.
Kto dnes llms.txt naozaj číta?
Tu sa oplatí byť opatrný. Web llmstxt.org uvádza, že súbory sa najviac používajú pri softvérovej dokumentácii, kde ich nasledujú agenti na programovanie. OpenAI, Anthropic, Google ani Perplexity v dokumentácii crawlerov, ktorú sme prešli, neuvádzajú llms.txt medzi signálmi, ktoré ich vyhľadávacie crawlery používajú.
Google pri vlastných funkciách Vyhľadávania ide ešte ďalej. Jeho pokyny k prehľadom od AI a Režimu AI uvádzajú, že na zobrazenie v nich nemusíte vytvárať nové strojovo čitateľné súbory, textové súbory pre AI ani značkovanie. Pre Vyhľadávanie Google nemá llms.txt žiadnu uvedenú úlohu.
Úprimná odpoveď teda znie: niektoré nástroje AI, najmä asistenti na programovanie a agenti, ktorých niekto na web nasmeruje, ho môžu čítať. Crawlery, ktoré rozhodujú, či AI vyhľadávanie vašu stránku cituje, pracujú s vaším HTML.
Či niečo váš súbor číta, si môžete overiť sami. V logoch servera alebo CDN vyhľadajte požiadavky na /llms.txt a pozrite sa na user agentov. Ak sa za niekoľko týždňov žiadne požiadavky neobjavia, povie vám to o jeho hodnote pre váš web viac než akékoľvek všeobecné tvrdenie.
Mám ho aj tak pridať?
Pre väčšinu webov je to lacný doplnok s neistým prínosom. Zaberie pár minút, vašej viditeľnosti vo vyhľadávaní nemôže uškodiť a môže pomôcť agentom, ktorí ho hľadajú. Najužitočnejší je pri dokumentácii, nástrojoch pre vývojárov a produktoch s veľkým množstvom referenčných materiálov.
Čo nedokáže, je opraviť problémy s prístupom. Ak firewall blokuje AI crawlery, váš robots.txt ich zakazuje alebo sa váš obsah objaví až po spustení JavaScriptu, llms.txt nič nezmení. Najprv opravte tieto veci.
Ako napísať dobrý llms.txt?
- Umiestnite ho na
https://yourdomain.com/llms.txta poskytujte ho ako obyčajný text so stavovým kódom 200, nie ako stránku HTML. - Súhrn napíšte tak, ako by ste web vysvetlili novému kolegovi v dvoch vetách: čo to je a pre koho.
- Uveďte stránky, ktoré odpovedajú na skutočné otázky: produkt, cenník, dokumentácia, pravidlá. Stránky so štítkami a archívy vynechajte.
- Používajte absolútne URL a zoznam udržte dosť krátky, aby zostal užitočný; pre väčšinu webov stačí niekoľko desiatok odkazov.
- Udržujte ho aktuálny. Súbor, ktorý odkazuje na odstránené stránky, je horší ako žiadny.
- Nepoužívajte ho na vyjadrenie povolení. Pravidlá prístupu patria do robots.txt.
Ako AISeeWhy pracuje s llms.txt?
AISeeWhy kontroluje, či váš web má llms.txt a či je v ňom auditovaná stránka uvedená. Keďže AI crawlery ho dnes čítajú zriedka, chýbajúci súbor je zistenie P3, s najnižšou prioritou, a správa obsahuje návrh zostavený z názvu, popisu a sitemapy vašej stránky, ktorý môžete upraviť a zverejniť.
Opravy tohto problému
- Súbor na objavovanie pre agentov sa nedá prečítať
- Verzia v Markdowne pre agentov nefunguje
- Odpoveď v Markdowne bez Vary: Accept
- Chýba verzia v Markdowne pre AI agentov
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Kontrola a validátor llms.txt
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Je llms.txt oficiálny štandard?
Nie. Je to komunitný návrh zverejnený na llmstxt.org. Nie je to štandard IETF ani W3C a žiadny dodávateľ AI nie je povinný ho čítať.
Blokuje llms.txt AI trénovanie?
Nie. Je to zoznam odkazov, nie súbor povolení. Ak chcete trénovanie odmietnuť, použite v robots.txt tréningové tokeny, napríklad GPTBot, ClaudeBot alebo Google-Extended.
Potrebujem llms.txt na zobrazenie v prehľadoch od AI v Google?
Nie. Google uvádza, že na zobrazenie v prehľadoch od AI alebo Režime AI nepotrebujete textové súbory pre AI ani špeciálne značkovanie. Stránka musí byť indexovaná a musí smieť zobraziť úryvok.
Môže byť llms.txt v podpriečinku?
Aktuálna verzia návrhu povoľuje súbor v podceste, napríklad /docs/llms.txt, ktorý pokrýva stránky pod touto cestou. Väčšine webov stačí jeden súbor v koreni.
Zdroje
- llmstxt.org: Súbor /llms.txt
- Google Search Central: AI funkcie a váš web
- OpenAI: Prehľad crawlerov OpenAI