Kas ir llms.txt, un vai to ir vērts pievienot?

Publicēts

Īsa atbilde

llms.txt ir ierosināts Markdown fails adresē /llms.txt, kas MI rīkiem sniedz īsu jūsu vietnes kopsavilkumu un saišu sarakstu uz tās noderīgākajām lapām. Tas ir kopienas priekšlikums, nevis standarts, un lielās MI meklēšanas rāpuļprogrammas nenorāda, ka to izmanto. To pievienot ir lēti, bet tas neaizstāj apstaigājamu HTML.

llms.txt saņem daudz uzmanības, bieži tiek pasniegts kā MI robots.txt. Tas ir kas cits: robots.txt nosaka, ko rāpuļprogrammas drīkst ielādēt, bet llms.txt ir lasīšanas ceļvedis, kas MI rīkiem norāda uz lasīšanas vērtu saturu. Lūk, ko saka priekšlikums, kas zināms par tā izmantošanu un kā to uzrakstīt.

Šajā lapā
  1. No kurienes nāk llms.txt?
  2. Kas jāiekļauj llms.txt failā?
  3. Kas šodien patiešām lasa llms.txt?
  4. Vai tomēr to pievienot?
  5. Kā uzrakstīt labu llms.txt?
  6. Kā AISeeWhy izturas pret llms.txt?

No kurienes nāk llms.txt?

Džeremijs Hovards (Jeremy Howard) ierosināja failu /llms.txt 2024. gada septembrī, un priekšlikums tiek uzturēts vietnē llmstxt.org. Tā mērķis ir standartizēt vienu failu, kas palīdz valodu modeļiem un aģentiem izmantot vietni secināšanas laikā, piemēram, kad programmēšanas asistentam vajadzīga bibliotēkas dokumentācija, nevis apmācībai.

Ideja atbild uz reālu problēmu. Tīmekļa lapās ir navigācija, skripti, baneri un izkārtojums. Īss, rūpīgi atlasīts Markdown fails ar saitēm uz galveno lapu tīrām versijām modelim ir vieglāk izmantojams ierobežotā konteksta logā.

Kas jāiekļauj llms.txt failā?

Fails ir Markdown ar noteiktu secību. Obligāts ir tikai pirmais elements:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Priekšlikums iesaka arī piedāvāt lapu Markdown versijas tajā pašā URL ar pievienotu .md, piemēram, page.html.md, lai rīki varētu ielādēt tīru tekstu.

Kas šodien patiešām lasa llms.txt?

Šeit ir vērts būt uzmanīgiem. Vietnē llmstxt.org teikts, ka faili visvairāk tiek izmantoti programmatūras dokumentācijai, kur tiem seko programmēšanas aģenti. OpenAI, Anthropic, Google un Perplexity mūsu pārskatītajā rāpuļprogrammu dokumentācijā neiekļauj llms.txt starp signāliem, ko izmanto to meklēšanas rāpuļprogrammas.

Google savām Search funkcijām iet vēl tālāk. Tās norādījumos par AI Overviews un AI Mode teikts, ka, lai tajos parādītos, nav jāveido jauni mašīnlasāmi faili, MI teksta faili vai marķējums. Google Search gadījumā llms.txt nav norādītas lomas.

Tātad godīgā atbilde ir: daži MI rīki, galvenokārt programmēšanas asistenti un aģenti, kas tiek novirzīti uz vietni, to var lasīt. Rāpuļprogrammas, kas nosaka, vai MI meklēšana citē jūsu lapu, strādā ar jūsu HTML.

Varat paši redzēt, vai kaut kas lasa jūsu failu. Meklējiet servera vai CDN žurnālos pieprasījumus uz /llms.txt un apskatiet user-agent. Ja dažu nedēļu laikā pieprasījumu nav, tas par tā vērtību jūsu vietnei pasaka vairāk nekā jebkurš vispārīgs apgalvojums.

Vai tomēr to pievienot?

Lielākajai daļai vietņu tas ir lēts papildinājums ar nenoteiktu ieguvumu. Tas aizņem dažas minūtes, nevar kaitēt jūsu redzamībai meklēšanā un var palīdzēt aģentiem, kas to meklē. Visnoderīgākais tas ir dokumentācijai, izstrādātāju rīkiem un produktiem ar daudz atsauces materiālu.

Ko tas nevar, ir labot piekļuves problēmas. Ja ugunsmūris bloķē MI rāpuļprogrammas, jūsu robots.txt tās aizliedz vai saturs parādās tikai pēc JavaScript izpildes, llms.txt neko nemaina. Vispirms labojiet tās.

Kā uzrakstīt labu llms.txt?

Kā AISeeWhy izturas pret llms.txt?

AISeeWhy pārbauda, vai jūsu vietnei ir llms.txt un vai auditētā lapa tajā ir norādīta. Tā kā MI rāpuļprogrammas šodien to lasa reti, faila trūkums ir P3 konstatējums ar zemāko prioritāti, un pārskatā iekļauts melnraksts, kas veidots no jūsu lapas virsraksta, apraksta un sitemap un ko varat rediģēt un publicēt.

Labojumi šai problēmai

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Vai llms.txt ir oficiāls standarts?

Nē. Tas ir kopienas priekšlikums, kas publicēts vietnē llmstxt.org. Tas nav IETF vai W3C standarts, un neviens MI piegādātājs nav spiests to lasīt.

Vai llms.txt bloķē MI apmācību?

Nē. Tas ir saišu saraksts, nevis atļauju kopums. Lai atteiktos no apmācības, izmantojiet robots.txt apmācības marķierus, piemēram, GPTBot, ClaudeBot vai Google-Extended.

Vai man vajag llms.txt, lai parādītos Google AI Overviews?

Nē. Google norāda, ka, lai parādītos AI Overviews vai AI Mode, nav vajadzīgi MI teksta faili vai īpašs marķējums. Lapai jābūt indeksētai un piemērotai fragmenta rādīšanai.

Vai llms.txt var atrasties apakšmapē?

Pašreizējā priekšlikuma versija atļauj failu apakšceļā, piemēram, /docs/llms.txt, kas aptver lapas zem šī ceļa. Lielākajai daļai vietņu vajag tikai vienu failu saknē.

Avoti

Citi raksti