Kas yra llms.txt ir ar verta jį pridėti?

Paskelbta

Trumpas atsakymas

llms.txt yra siūlomas Markdown failas adresu /llms.txt, pateikiantis DI įrankiams trumpą jūsų svetainės santrauką ir nuorodų į naudingiausius jos puslapius sąrašą. Tai bendruomenės pasiūlymas, o ne standartas, ir pagrindiniai DI paieškos robotai neteigia jo naudojantys. Jį pridėti pigu, bet jis nepakeičia nuskaitomo HTML.

llms.txt sulaukia daug dėmesio ir dažnai pristatomas kaip DI robots.txt. Tai kas kita: robots.txt nurodo, ką robotai gali atsisiųsti, o llms.txt yra skaitymo gidas, nukreipiantis DI įrankius į verta skaityti turinį. Štai ką sako pasiūlymas, kas žinoma apie jo naudojimą ir kaip jį parašyti.

Šiame puslapyje
  1. Iš kur atsirado llms.txt?
  2. Kas rašoma llms.txt faile?
  3. Kas iš tikrųjų skaito llms.txt šiandien?
  4. Ar vis tiek jį pridėti?
  5. Kaip parašyti gerą llms.txt?
  6. Kaip AISeeWhy vertina llms.txt?

Iš kur atsirado llms.txt?

Jeremy Howard pasiūlė /llms.txt failą 2024 m. rugsėjį, o pasiūlymas palaikomas svetainėje llmstxt.org. Jo tikslas – standartizuoti vieną failą, padedantį kalbos modeliams ir agentams naudotis svetaine išvados metu, pvz., kai programavimo asistentui reikia bibliotekos dokumentacijos, o ne mokymui.

Idėja atsiliepia į realią problemą. Tinklalapiuose yra navigacija, skriptai, baneriai ir maketas. Trumpą, kruopščiai atrinktą Markdown failą su nuorodomis į švarias pagrindinių puslapių versijas modeliui lengviau naudoti ribotame konteksto lange.

Kas rašoma llms.txt faile?

Failas yra Markdown su nustatyta tvarka. Privalomas tik pirmas elementas:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Pasiūlyme taip pat siūloma pateikti puslapių Markdown versijas tuo pačiu URL su pridėtu .md, pvz., page.html.md, kad įrankiai galėtų atsisiųsti švarų tekstą.

Kas iš tikrųjų skaito llms.txt šiandien?

Čia verta būti atsargiems. llmstxt.org svetainėje rašoma, kad failai labiausiai naudojami programinės įrangos dokumentacijai, kur jais vadovaujasi programavimo agentai. OpenAI, Anthropic, Google ir Perplexity mūsų peržiūrėtoje robotų dokumentacijoje llms.txt nenurodo tarp signalų, kuriuos naudoja jų paieškos robotai.

Google savo paieškos funkcijoms eina dar toliau. Jos gairėse apie AI Overviews ir AI Mode rašoma, kad norint juose pasirodyti nereikia kurti naujų mašininio skaitymo failų, DI tekstinių failų ar žymėjimo. Google Search atveju llms.txt neturi jokio nurodyto vaidmens.

Taigi sąžiningas atsakymas: kai kurie DI įrankiai, daugiausia programavimo asistentai ir agentai, nukreipti į svetainę, gali jį skaityti. Robotai, lemiantys, ar DI paieška cituos jūsų puslapį, dirba su jūsų HTML.

Patys galite pamatyti, ar kas nors skaito jūsų failą. Serverio ar CDN žurnaluose ieškokite užklausų į /llms.txt ir pažiūrėkite į user agent. Jei per kelias savaites užklausų nėra, tai apie jo vertę jūsų svetainei pasako daugiau nei bet koks bendras teiginys.

Ar vis tiek jį pridėti?

Daugumai svetainių tai pigus, bet neužtikrintos naudos papildymas. Tai užtrunka kelias minutes, negali pakenkti matomumui paieškoje ir gali padėti jo ieškantiems agentams. Naudingiausias jis dokumentacijai, programuotojų įrankiams ir produktams su daug informacinės medžiagos.

Ko jis negali – tai išspręsti prieigos problemų. Jei ugniasienė blokuoja DI robotus, jūsų robots.txt juos draudžia arba turinys atsiranda tik paleidus JavaScript, llms.txt nieko nekeičia. Pirmiausia ištaisykite tai.

Kaip parašyti gerą llms.txt?

Kaip AISeeWhy vertina llms.txt?

AISeeWhy tikrina, ar jūsų svetainė turi llms.txt ir ar audituojamas puslapis jame nurodytas. Kadangi DI robotai šiandien jį skaito retai, trūkstamas failas yra P3 radinys, žemiausio prioriteto, o ataskaitoje pateikiamas juodraštis, sudarytas iš jūsų puslapio pavadinimo, aprašymo ir sitemap, kurį galite redaguoti ir paskelbti.

Šios problemos pataisymai

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar llms.txt yra oficialus standartas?

Ne. Tai bendruomenės pasiūlymas, paskelbtas llmstxt.org. Tai nėra IETF ar W3C standartas, ir joks DI tiekėjas neįpareigotas jo skaityti.

Ar llms.txt blokuoja DI mokymą?

Ne. Tai nuorodų sąrašas, o ne leidimų rinkinys. Norėdami atsisakyti mokymo, naudokite mokymo žymenis robots.txt, pvz., GPTBot, ClaudeBot ar Google-Extended.

Ar man reikia llms.txt, kad pasirodyčiau Google AI Overviews?

Ne. Google teigia, kad norint pasirodyti AI Overviews ar AI Mode nereikia DI tekstinių failų ar specialaus žymėjimo. Puslapis turi būti indeksuotas ir galėti rodyti ištrauką.

Ar llms.txt gali būti poaplankyje?

Dabartinė pasiūlymo versija leidžia failą poaplankio kelyje, pvz., /docs/llms.txt, apimantį puslapius po tuo keliu. Daugumai svetainių pakanka vieno failo šaknyje.

Šaltiniai

Daugiau straipsnių