Kas ir llms.txt, un vai to ir vērts pievienot?
llms.txt ir ierosināts Markdown fails adresē /llms.txt, kas MI rīkiem sniedz īsu jūsu vietnes kopsavilkumu un saišu sarakstu uz tās noderīgākajām lapām. Tas ir kopienas priekšlikums, nevis standarts, un lielās MI meklēšanas rāpuļprogrammas nenorāda, ka to izmanto. To pievienot ir lēti, bet tas neaizstāj apstaigājamu HTML.
llms.txt saņem daudz uzmanības, bieži tiek pasniegts kā MI robots.txt. Tas ir kas cits: robots.txt nosaka, ko rāpuļprogrammas drīkst ielādēt, bet llms.txt ir lasīšanas ceļvedis, kas MI rīkiem norāda uz lasīšanas vērtu saturu. Lūk, ko saka priekšlikums, kas zināms par tā izmantošanu un kā to uzrakstīt.
Šajā lapā
No kurienes nāk llms.txt?
Džeremijs Hovards (Jeremy Howard) ierosināja failu /llms.txt 2024. gada septembrī, un priekšlikums tiek uzturēts vietnē llmstxt.org. Tā mērķis ir standartizēt vienu failu, kas palīdz valodu modeļiem un aģentiem izmantot vietni secināšanas laikā, piemēram, kad programmēšanas asistentam vajadzīga bibliotēkas dokumentācija, nevis apmācībai.
Ideja atbild uz reālu problēmu. Tīmekļa lapās ir navigācija, skripti, baneri un izkārtojums. Īss, rūpīgi atlasīts Markdown fails ar saitēm uz galveno lapu tīrām versijām modelim ir vieglāk izmantojams ierobežotā konteksta logā.
Kas jāiekļauj llms.txt failā?
Fails ir Markdown ar noteiktu secību. Obligāts ir tikai pirmais elements:
- H1 ar vietnes vai projekta nosaukumu (obligāts).
- Citāta bloks ar īsu kopsavilkumu par to, kas ir vietne.
- Pēc izvēles rindkopas vai saraksti ar sīkāku informāciju, bez virsrakstiem.
- H2 sadaļas, katra ar Markdown saišu sarakstu formā
[name](url), pēc izvēles ar kolu un piezīmi. - Neobligāta sadaļa ar nosaukumu
Optionalsekundārām saitēm, ko rīks var izlaist, ja tam vajag mazāk konteksta.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Priekšlikums iesaka arī piedāvāt lapu Markdown versijas tajā pašā URL ar pievienotu .md, piemēram, page.html.md, lai rīki varētu ielādēt tīru tekstu.
Kas šodien patiešām lasa llms.txt?
Šeit ir vērts būt uzmanīgiem. Vietnē llmstxt.org teikts, ka faili visvairāk tiek izmantoti programmatūras dokumentācijai, kur tiem seko programmēšanas aģenti. OpenAI, Anthropic, Google un Perplexity mūsu pārskatītajā rāpuļprogrammu dokumentācijā neiekļauj llms.txt starp signāliem, ko izmanto to meklēšanas rāpuļprogrammas.
Google savām Search funkcijām iet vēl tālāk. Tās norādījumos par AI Overviews un AI Mode teikts, ka, lai tajos parādītos, nav jāveido jauni mašīnlasāmi faili, MI teksta faili vai marķējums. Google Search gadījumā llms.txt nav norādītas lomas.
Tātad godīgā atbilde ir: daži MI rīki, galvenokārt programmēšanas asistenti un aģenti, kas tiek novirzīti uz vietni, to var lasīt. Rāpuļprogrammas, kas nosaka, vai MI meklēšana citē jūsu lapu, strādā ar jūsu HTML.
Varat paši redzēt, vai kaut kas lasa jūsu failu. Meklējiet servera vai CDN žurnālos pieprasījumus uz /llms.txt un apskatiet user-agent. Ja dažu nedēļu laikā pieprasījumu nav, tas par tā vērtību jūsu vietnei pasaka vairāk nekā jebkurš vispārīgs apgalvojums.
Vai tomēr to pievienot?
Lielākajai daļai vietņu tas ir lēts papildinājums ar nenoteiktu ieguvumu. Tas aizņem dažas minūtes, nevar kaitēt jūsu redzamībai meklēšanā un var palīdzēt aģentiem, kas to meklē. Visnoderīgākais tas ir dokumentācijai, izstrādātāju rīkiem un produktiem ar daudz atsauces materiālu.
Ko tas nevar, ir labot piekļuves problēmas. Ja ugunsmūris bloķē MI rāpuļprogrammas, jūsu robots.txt tās aizliedz vai saturs parādās tikai pēc JavaScript izpildes, llms.txt neko nemaina. Vispirms labojiet tās.
Kā uzrakstīt labu llms.txt?
- Novietojiet to adresē
https://yourdomain.com/llms.txtun izsniedziet kā vienkāršu tekstu ar statusu 200, nevis HTML lapu. - Uzrakstiet kopsavilkumu tā, kā vietni divos teikumos izskaidrotu jaunam kolēģim: kas tā ir un kam tā domāta.
- Uzskaitiet lapas, kas atbild uz reāliem jautājumiem: produkts, cenas, dokumentācija, noteikumi. Izlaidiet tagu lapas un arhīvus.
- Izmantojiet absolūtus URL un turiet sarakstu pietiekami īsu, lai tas būtu noderīgs; lielākajai daļai vietņu pietiek ar dažiem desmitiem saišu.
- Uzturiet to aktuālu. Fails ar saitēm uz izņemtām lapām ir sliktāks nekā nekāda faila.
- Neizmantojiet to atļauju paušanai. Piekļuves kārtulām vieta ir robots.txt.
Kā AISeeWhy izturas pret llms.txt?
AISeeWhy pārbauda, vai jūsu vietnei ir llms.txt un vai auditētā lapa tajā ir norādīta. Tā kā MI rāpuļprogrammas šodien to lasa reti, faila trūkums ir P3 konstatējums ar zemāko prioritāti, un pārskatā iekļauts melnraksts, kas veidots no jūsu lapas virsraksta, apraksta un sitemap un ko varat rediģēt un publicēt.
Labojumi šai problēmai
- Aģentu atklāšanas failu nevar nolasīt
- Markdown versija aģentiem nedarbojas
- Markdown atbilde bez Vary: Accept
- Nav Markdown versijas MI aģentiem
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- llms.txt pārbaude un validators
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai llms.txt ir oficiāls standarts?
Nē. Tas ir kopienas priekšlikums, kas publicēts vietnē llmstxt.org. Tas nav IETF vai W3C standarts, un neviens MI piegādātājs nav spiests to lasīt.
Vai llms.txt bloķē MI apmācību?
Nē. Tas ir saišu saraksts, nevis atļauju kopums. Lai atteiktos no apmācības, izmantojiet robots.txt apmācības marķierus, piemēram, GPTBot, ClaudeBot vai Google-Extended.
Vai man vajag llms.txt, lai parādītos Google AI Overviews?
Nē. Google norāda, ka, lai parādītos AI Overviews vai AI Mode, nav vajadzīgi MI teksta faili vai īpašs marķējums. Lapai jābūt indeksētai un piemērotai fragmenta rādīšanai.
Vai llms.txt var atrasties apakšmapē?
Pašreizējā priekšlikuma versija atļauj failu apakšceļā, piemēram, /docs/llms.txt, kas aptver lapas zem šī ceļa. Lielākajai daļai vietņu vajag tikai vienu failu saknē.
Avoti
- llmstxt.org: fails /llms.txt
- Google Search Central: MI funkcijas un jūsu vietne
- OpenAI: OpenAI rāpuļprogrammu pārskats