Mis on llms.txt ja kas seda tasub lisada?
llms.txt on välja pakutud Markdowni fail aadressil /llms.txt, mis annab AI-tööriistadele lühikese kokkuvõtte sinu saidist ja lingid selle kõige kasulikumatele lehtedele. See on kogukonna ettepanek, mitte standard, ja suured AI-otsingurobotid ei ütle, et nad seda kasutavad. Selle lisamine on odav, kuid see ei asenda roomatavat HTML-i.
llms.txt saab palju tähelepanu ja seda esitletakse sageli kui AI robots.txt-d. See on midagi muud: robots.txt ütleb, mida robotid tohivad laadida, llms.txt aga on lugemisjuhis, mis suunab AI-tööriistad lugemist väärt sisu juurde. Siin on see, mida ettepanek ütleb, mida selle kasutamise kohta teatakse ja kuidas see kirjutada.
Sellel lehel
Kust llms.txt pärineb?
Jeremy Howard pakkus faili /llms.txt välja 2024. aasta septembris ja ettepanekut hallatakse saidil llmstxt.org. Selle eesmärk on standardiseerida üks fail, mis aitab keelemudelitel ja agentidel veebisaiti kasutada järeldamise ajal, näiteks kui programmeerimisassistent vajab teegi dokumentatsiooni, mitte treenimiseks.
Idee vastab päris probleemile. Veebilehtedel on navigatsioon, skriptid, bännerid ja paigutus. Lühike, kureeritud Markdowni fail, milles on lingid põhilehtede puhastele versioonidele, on mudelile piiratud kontekstiaknas lihtsam kasutada.
Mis llms.txt faili kirjutatakse?
Fail on kindla järjekorraga Markdown. Kohustuslik on ainult esimene element:
- H1 saidi või projekti nimega (kohustuslik).
- Tsitaadiplokk lühikese kokkuvõttega sellest, mis sait on.
- Valikulised lõigud või loendid täpsemate üksikasjadega, ilma pealkirjadeta.
- H2 jaotised, igaühes Markdowni linkide loend kujul
[name](url), mille järel võib olla koolon ja märkus. - Valikuline jaotis nimega
Optionalteisejärguliste linkide jaoks, mille tööriist võib vahele jätta, kui vajab vähem konteksti.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Ettepanek soovitab ka pakkuda lehtede Markdowni versioone samal URL-il, millele on lisatud .md, näiteks page.html.md, et tööriistad saaksid laadida puhast teksti.
Kes llms.txt-d tegelikult täna loeb?
Siin tasub olla ettevaatlik. Sait llmstxt.org ütleb, et faile kasutatakse kõige rohkem tarkvara dokumentatsiooni puhul, kus programmeerimisagendid neid järgivad. OpenAI, Anthropic, Google ega Perplexity ei loetle meie läbi vaadatud robotite dokumentatsioonis llms.txt-d signaalide hulgas, mida nende otsingurobotid kasutavad.
Google läheb oma otsingufunktsioonide puhul kaugemale. Tema juhend AI-ülevaadete ja AI-režiimi kohta ütleb, et neis ilmumiseks pole vaja luua uusi masinloetavaid faile, AI-tekstifaile ega märgendust. Google'i otsingu jaoks pole llms.txt-l väljaöeldud rolli.
Aus vastus on seega: mõned AI-tööriistad, peamiselt programmeerimisassistendid ja agendid, mis saidile suunatakse, võivad seda lugeda. Robotid, mis otsustavad, kas AI-otsing sinu lehele viitab, töötavad sinu HTML-i põhjal.
Saad ise vaadata, kas midagi sinu faili loeb. Otsi oma serveri või CDN-i logidest päringuid aadressile /llms.txt ja vaata user agent'eid. Kui paari nädala jooksul päringuid ei ilmu, ütleb see selle väärtuse kohta sinu saidi jaoks rohkem kui ükski üldine väide.
Kas peaksin selle ikkagi lisama?
Enamikule saitidele on see odav, kuid ebakindla kasuga lisand. See võtab mõne minuti, ei saa kahjustada sinu otsingunähtavust ja võib aidata agente, mis seda otsivad. Kõige kasulikum on see dokumentatsiooni, arendajatööriistade ja palju viitematerjaliga toodete puhul.
Ligipääsuprobleeme see parandada ei saa. Kui tulemüür blokeerib AI-roboteid, sinu robots.txt keelab need või sinu sisu ilmub alles pärast JavaScripti käivitumist, ei muuda llms.txt midagi. Paranda need esmalt.
Kuidas kirjutada hea llms.txt?
- Pane see aadressile
https://yourdomain.com/llms.txtja serveeri lihttekstina olekukoodiga 200, mitte HTML-lehena. - Kirjuta kokkuvõte nii, nagu selgitaksid saiti uuele kolleegile kahe lausega: mis see on ja kellele.
- Loetle lehed, mis vastavad päris küsimustele: toode, hinnad, dokumentatsioon, tingimused. Jäta siltide lehed ja arhiivid välja.
- Kasuta absoluutseid URL-e ja hoia loend piisavalt lühike, et see jääks kasulikuks; enamikule saitidele piisab mõnekümnest lingist.
- Hoia see ajakohasena. Fail, mis lingib eemaldatud lehtedele, on halvem kui faili puudumine.
- Ära kasuta seda lubade väljendamiseks. Juurdepääsureeglid kuuluvad robots.txt-sse.
Kuidas AISeeWhy llms.txt-d käsitleb?
AISeeWhy kontrollib, kas sinu saidil on llms.txt ja kas auditeeritud leht on selles loetletud. Kuna AI-robotid loevad seda täna harva, on puuduv fail P3 leid, madalaim prioriteet, ja raport sisaldab mustandit, mis on koostatud sinu lehe pealkirja, kirjelduse ja saidikaardi põhjal ning mida saad muuta ja avaldada.
Selle probleemi parandused
- Agentide tuvastusfaili ei saa lugeda
- Agentidele mõeldud Markdown-versioon on katki
- Markdown-vastus ilma päiseta Vary: Accept
- AI-agentidele pole Markdown-versiooni
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- llms.txt kontrollija ja valideerija
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas llms.txt on ametlik standard?
Ei. See on kogukonna ettepanek, mis on avaldatud saidil llmstxt.org. See pole IETF-i ega W3C standard ja ükski AI-teenuste pakkuja pole kohustatud seda lugema.
Kas llms.txt blokeerib AI treenimise?
Ei. See on linkide loend, mitte lubade kogum. Treeningust loobumiseks kasuta robots.txt-s treeningtunnuseid, nagu GPTBot, ClaudeBot või Google-Extended.
Kas mul on Google'i AI-ülevaadetes ilmumiseks vaja llms.txt-d?
Ei. Google ütleb, et AI-ülevaadetes või AI-režiimis ilmumiseks pole vaja AI-tekstifaile ega erilist märgendust. Leht peab olema indekseeritud ja sobima katkendiga kuvamiseks.
Kas llms.txt võib asuda alamkaustas?
Ettepaneku praegune versioon lubab faili alamteel, näiteks /docs/llms.txt, mis hõlmab selle tee all olevaid lehti. Enamik saite vajab ainult üht faili juurkaustas.
Allikad
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers