Mis on llms.txt ja kas seda tasub lisada?

Avaldatud

Lühike vastus

llms.txt on välja pakutud Markdowni fail aadressil /llms.txt, mis annab AI-tööriistadele lühikese kokkuvõtte sinu saidist ja lingid selle kõige kasulikumatele lehtedele. See on kogukonna ettepanek, mitte standard, ja suured AI-otsingurobotid ei ütle, et nad seda kasutavad. Selle lisamine on odav, kuid see ei asenda roomatavat HTML-i.

llms.txt saab palju tähelepanu ja seda esitletakse sageli kui AI robots.txt-d. See on midagi muud: robots.txt ütleb, mida robotid tohivad laadida, llms.txt aga on lugemisjuhis, mis suunab AI-tööriistad lugemist väärt sisu juurde. Siin on see, mida ettepanek ütleb, mida selle kasutamise kohta teatakse ja kuidas see kirjutada.

Sellel lehel
  1. Kust llms.txt pärineb?
  2. Mis llms.txt faili kirjutatakse?
  3. Kes llms.txt-d tegelikult täna loeb?
  4. Kas peaksin selle ikkagi lisama?
  5. Kuidas kirjutada hea llms.txt?
  6. Kuidas AISeeWhy llms.txt-d käsitleb?

Kust llms.txt pärineb?

Jeremy Howard pakkus faili /llms.txt välja 2024. aasta septembris ja ettepanekut hallatakse saidil llmstxt.org. Selle eesmärk on standardiseerida üks fail, mis aitab keelemudelitel ja agentidel veebisaiti kasutada järeldamise ajal, näiteks kui programmeerimisassistent vajab teegi dokumentatsiooni, mitte treenimiseks.

Idee vastab päris probleemile. Veebilehtedel on navigatsioon, skriptid, bännerid ja paigutus. Lühike, kureeritud Markdowni fail, milles on lingid põhilehtede puhastele versioonidele, on mudelile piiratud kontekstiaknas lihtsam kasutada.

Mis llms.txt faili kirjutatakse?

Fail on kindla järjekorraga Markdown. Kohustuslik on ainult esimene element:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Ettepanek soovitab ka pakkuda lehtede Markdowni versioone samal URL-il, millele on lisatud .md, näiteks page.html.md, et tööriistad saaksid laadida puhast teksti.

Kes llms.txt-d tegelikult täna loeb?

Siin tasub olla ettevaatlik. Sait llmstxt.org ütleb, et faile kasutatakse kõige rohkem tarkvara dokumentatsiooni puhul, kus programmeerimisagendid neid järgivad. OpenAI, Anthropic, Google ega Perplexity ei loetle meie läbi vaadatud robotite dokumentatsioonis llms.txt-d signaalide hulgas, mida nende otsingurobotid kasutavad.

Google läheb oma otsingufunktsioonide puhul kaugemale. Tema juhend AI-ülevaadete ja AI-režiimi kohta ütleb, et neis ilmumiseks pole vaja luua uusi masinloetavaid faile, AI-tekstifaile ega märgendust. Google'i otsingu jaoks pole llms.txt-l väljaöeldud rolli.

Aus vastus on seega: mõned AI-tööriistad, peamiselt programmeerimisassistendid ja agendid, mis saidile suunatakse, võivad seda lugeda. Robotid, mis otsustavad, kas AI-otsing sinu lehele viitab, töötavad sinu HTML-i põhjal.

Saad ise vaadata, kas midagi sinu faili loeb. Otsi oma serveri või CDN-i logidest päringuid aadressile /llms.txt ja vaata user agent'eid. Kui paari nädala jooksul päringuid ei ilmu, ütleb see selle väärtuse kohta sinu saidi jaoks rohkem kui ükski üldine väide.

Kas peaksin selle ikkagi lisama?

Enamikule saitidele on see odav, kuid ebakindla kasuga lisand. See võtab mõne minuti, ei saa kahjustada sinu otsingunähtavust ja võib aidata agente, mis seda otsivad. Kõige kasulikum on see dokumentatsiooni, arendajatööriistade ja palju viitematerjaliga toodete puhul.

Ligipääsuprobleeme see parandada ei saa. Kui tulemüür blokeerib AI-roboteid, sinu robots.txt keelab need või sinu sisu ilmub alles pärast JavaScripti käivitumist, ei muuda llms.txt midagi. Paranda need esmalt.

Kuidas kirjutada hea llms.txt?

Kuidas AISeeWhy llms.txt-d käsitleb?

AISeeWhy kontrollib, kas sinu saidil on llms.txt ja kas auditeeritud leht on selles loetletud. Kuna AI-robotid loevad seda täna harva, on puuduv fail P3 leid, madalaim prioriteet, ja raport sisaldab mustandit, mis on koostatud sinu lehe pealkirja, kirjelduse ja saidikaardi põhjal ning mida saad muuta ja avaldada.

Selle probleemi parandused

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas llms.txt on ametlik standard?

Ei. See on kogukonna ettepanek, mis on avaldatud saidil llmstxt.org. See pole IETF-i ega W3C standard ja ükski AI-teenuste pakkuja pole kohustatud seda lugema.

Kas llms.txt blokeerib AI treenimise?

Ei. See on linkide loend, mitte lubade kogum. Treeningust loobumiseks kasuta robots.txt-s treeningtunnuseid, nagu GPTBot, ClaudeBot või Google-Extended.

Kas mul on Google'i AI-ülevaadetes ilmumiseks vaja llms.txt-d?

Ei. Google ütleb, et AI-ülevaadetes või AI-režiimis ilmumiseks pole vaja AI-tekstifaile ega erilist märgendust. Leht peab olema indekseeritud ja sobima katkendiga kuvamiseks.

Kas llms.txt võib asuda alamkaustas?

Ettepaneku praegune versioon lubab faili alamteel, näiteks /docs/llms.txt, mis hõlmab selle tee all olevaid lehti. Enamik saite vajab ainult üht faili juurkaustas.

Allikad

Veel artikleid