Kas yra llms.txt ir ar verta jį pridėti?
llms.txt yra siūlomas Markdown failas adresu /llms.txt, pateikiantis DI įrankiams trumpą jūsų svetainės santrauką ir nuorodų į naudingiausius jos puslapius sąrašą. Tai bendruomenės pasiūlymas, o ne standartas, ir pagrindiniai DI paieškos robotai neteigia jo naudojantys. Jį pridėti pigu, bet jis nepakeičia nuskaitomo HTML.
llms.txt sulaukia daug dėmesio ir dažnai pristatomas kaip DI robots.txt. Tai kas kita: robots.txt nurodo, ką robotai gali atsisiųsti, o llms.txt yra skaitymo gidas, nukreipiantis DI įrankius į verta skaityti turinį. Štai ką sako pasiūlymas, kas žinoma apie jo naudojimą ir kaip jį parašyti.
Šiame puslapyje
Iš kur atsirado llms.txt?
Jeremy Howard pasiūlė /llms.txt failą 2024 m. rugsėjį, o pasiūlymas palaikomas svetainėje llmstxt.org. Jo tikslas – standartizuoti vieną failą, padedantį kalbos modeliams ir agentams naudotis svetaine išvados metu, pvz., kai programavimo asistentui reikia bibliotekos dokumentacijos, o ne mokymui.
Idėja atsiliepia į realią problemą. Tinklalapiuose yra navigacija, skriptai, baneriai ir maketas. Trumpą, kruopščiai atrinktą Markdown failą su nuorodomis į švarias pagrindinių puslapių versijas modeliui lengviau naudoti ribotame konteksto lange.
Kas rašoma llms.txt faile?
Failas yra Markdown su nustatyta tvarka. Privalomas tik pirmas elementas:
- H1 su svetainės ar projekto pavadinimu (privaloma).
- Citatos blokas su trumpa santrauka, kas yra ši svetainė.
- Neprivalomos pastraipos ar sąrašai su išsamesne informacija, be antraščių.
- H2 skyriai, kiekviename – Markdown nuorodų sąrašas formatu
[name](url), po kurio gali eiti dvitaškis ir pastaba. - Neprivalomas skyrius pavadinimu
Optionalantrinėms nuorodoms, kurias įrankis gali praleisti, kai jam reikia mažiau konteksto.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Pasiūlyme taip pat siūloma pateikti puslapių Markdown versijas tuo pačiu URL su pridėtu .md, pvz., page.html.md, kad įrankiai galėtų atsisiųsti švarų tekstą.
Kas iš tikrųjų skaito llms.txt šiandien?
Čia verta būti atsargiems. llmstxt.org svetainėje rašoma, kad failai labiausiai naudojami programinės įrangos dokumentacijai, kur jais vadovaujasi programavimo agentai. OpenAI, Anthropic, Google ir Perplexity mūsų peržiūrėtoje robotų dokumentacijoje llms.txt nenurodo tarp signalų, kuriuos naudoja jų paieškos robotai.
Google savo paieškos funkcijoms eina dar toliau. Jos gairėse apie AI Overviews ir AI Mode rašoma, kad norint juose pasirodyti nereikia kurti naujų mašininio skaitymo failų, DI tekstinių failų ar žymėjimo. Google Search atveju llms.txt neturi jokio nurodyto vaidmens.
Taigi sąžiningas atsakymas: kai kurie DI įrankiai, daugiausia programavimo asistentai ir agentai, nukreipti į svetainę, gali jį skaityti. Robotai, lemiantys, ar DI paieška cituos jūsų puslapį, dirba su jūsų HTML.
Patys galite pamatyti, ar kas nors skaito jūsų failą. Serverio ar CDN žurnaluose ieškokite užklausų į /llms.txt ir pažiūrėkite į user agent. Jei per kelias savaites užklausų nėra, tai apie jo vertę jūsų svetainei pasako daugiau nei bet koks bendras teiginys.
Ar vis tiek jį pridėti?
Daugumai svetainių tai pigus, bet neužtikrintos naudos papildymas. Tai užtrunka kelias minutes, negali pakenkti matomumui paieškoje ir gali padėti jo ieškantiems agentams. Naudingiausias jis dokumentacijai, programuotojų įrankiams ir produktams su daug informacinės medžiagos.
Ko jis negali – tai išspręsti prieigos problemų. Jei ugniasienė blokuoja DI robotus, jūsų robots.txt juos draudžia arba turinys atsiranda tik paleidus JavaScript, llms.txt nieko nekeičia. Pirmiausia ištaisykite tai.
Kaip parašyti gerą llms.txt?
- Patalpinkite jį adresu
https://yourdomain.com/llms.txtir pateikite kaip paprastą tekstą su būsena 200, o ne kaip HTML puslapį. - Santrauką parašykite taip, kaip dviem sakiniais paaiškintumėte svetainę naujam kolegai: kas tai yra ir kam ji skirta.
- Išvardykite puslapius, atsakančius į tikrus klausimus: produktas, kainos, dokumentacija, taisyklės. Žymų puslapius ir archyvus praleiskite.
- Naudokite absoliučius URL ir sąrašą laikykite pakankamai trumpą, kad jis būtų naudingas; daugumai svetainių užtenka kelių dešimčių nuorodų.
- Atnaujinkite jį. Failas su nuorodomis į pašalintus puslapius blogesnis nei jokio.
- Nenaudokite jo leidimams nurodyti. Prieigos taisyklės priklauso robots.txt.
Kaip AISeeWhy vertina llms.txt?
AISeeWhy tikrina, ar jūsų svetainė turi llms.txt ir ar audituojamas puslapis jame nurodytas. Kadangi DI robotai šiandien jį skaito retai, trūkstamas failas yra P3 radinys, žemiausio prioriteto, o ataskaitoje pateikiamas juodraštis, sudarytas iš jūsų puslapio pavadinimo, aprašymo ir sitemap, kurį galite redaguoti ir paskelbti.
Šios problemos pataisymai
- Agentams skirto aptikimo failo neįmanoma perskaityti
- Markdown versija agentams neveikia
- Markdown atsakymas be Vary: Accept
- Nėra Markdown versijos DI agentams
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- llms.txt tikrinimas ir validatorius
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar llms.txt yra oficialus standartas?
Ne. Tai bendruomenės pasiūlymas, paskelbtas llmstxt.org. Tai nėra IETF ar W3C standartas, ir joks DI tiekėjas neįpareigotas jo skaityti.
Ar llms.txt blokuoja DI mokymą?
Ne. Tai nuorodų sąrašas, o ne leidimų rinkinys. Norėdami atsisakyti mokymo, naudokite mokymo žymenis robots.txt, pvz., GPTBot, ClaudeBot ar Google-Extended.
Ar man reikia llms.txt, kad pasirodyčiau Google AI Overviews?
Ne. Google teigia, kad norint pasirodyti AI Overviews ar AI Mode nereikia DI tekstinių failų ar specialaus žymėjimo. Puslapis turi būti indeksuotas ir galėti rodyti ištrauką.
Ar llms.txt gali būti poaplankyje?
Dabartinė pasiūlymo versija leidžia failą poaplankio kelyje, pvz., /docs/llms.txt, apimantį puslapius po tuo keliu. Daugumai svetainių pakanka vieno failo šaknyje.
Šaltiniai
- llmstxt.org: /llms.txt failas
- Google Search Central: DI funkcijos ir jūsų svetainė
- OpenAI: OpenAI robotų apžvalga