AISeeWhy
FI
Aloita ilmainen kokeilu

Mikä on llms.txt, ja kannattaako sellainen lisätä?

Julkaistu

Lyhyt vastaus

llms.txt on ehdotettu Markdown-tiedosto osoitteessa /llms.txt, joka antaa tekoälytyökaluille lyhyen yhteenvedon sivustostasi ja listan hyödyllisimmistä sivuista. Se on yhteisön ehdotus, ei standardi, eivätkä suuret tekoälyn hakucrawlerit sano käyttävänsä sitä. Se on halpa lisätä, mutta ei korvaa läpikäytävää HTML:ää.

llms.txt saa paljon huomiota, ja sitä esitetään usein tekoälyn robots.txt:nä. Se on jotain muuta: robots.txt kertoo, mitä crawlerit saavat noutaa, kun taas llms.txt on lukuopas, joka ohjaa tekoälytyökalut lukemisen arvoisen sisällön pariin. Tässä on, mitä ehdotus sanoo, mitä käytöstä tiedetään ja miten sellainen kirjoitetaan.

Tällä sivulla
  1. Mistä llms.txt on peräisin
  2. Mitä llms.txt-tiedostoon kuuluu
  3. Kuka llms.txt:ää oikeasti lukee nykyään
  4. Kannattaako sellainen silti lisätä
  5. Miten kirjoitan hyvän llms.txt:n
  6. Miten AISeeWhy käsittelee llms.txt:ää

Mistä llms.txt on peräisin

Jeremy Howard ehdotti /llms.txt-tiedostoa syyskuussa 2024, ja ehdotusta ylläpidetään osoitteessa llmstxt.org. Tavoitteena on standardoida yksi tiedosto, joka auttaa kielimalleja ja agentteja käyttämään verkkosivustoa päättelyvaiheessa, esimerkiksi kun koodausavustaja tarvitsee kirjaston dokumentaation, eikä koulutukseen.

Ajatus vastaa todelliseen ongelmaan. Verkkosivuilla on navigointia, skriptejä, bannereita ja ulkoasua. Lyhyt, kuratoitu Markdown-tiedosto, jossa on linkit tärkeimpien sivujen puhtaisiin versioihin, on mallin helpompi käsitellä rajallisessa kontekstiikkunassa.

Mitä llms.txt-tiedostoon kuuluu

Tiedosto on Markdownia kiinteässä järjestyksessä. Vain ensimmäinen osa on pakollinen:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Ehdotus esittää myös Markdown-versioiden tarjoamista sivuista samassa URL-osoitteessa lisäämällä .md, esimerkiksi page.html.md, jotta työkalut voivat noutaa puhdasta tekstiä.

Kuka llms.txt:ää oikeasti lukee nykyään

Tässä kannattaa olla varovainen. Sivusto llmstxt.org sanoo, että tiedostoja käytetään eniten ohjelmistodokumentaatiossa, jossa koodausagentit seuraavat niitä. OpenAI, Anthropic, Google ja Perplexity eivät listaa llms.txt:ää signaaleihin, joita niiden hakucrawlerit käyttävät läpikäymässämme crawler-dokumentaatiossa.

Google menee pidemmälle omien hakuominaisuuksiensa osalta. Sen ohjeistus tekoälytiivistelmistä ja tekoälytilasta sanoo, ettei näissä näkymiseen tarvitse luoda uusia koneluettavia tiedostoja, tekoälytekstitiedostoja tai merkintöjä. Google-haussa llms.txt:llä ei ole mainittua roolia.

Rehellinen vastaus on siis: jotkin tekoälytyökalut, enimmäkseen koodausavustajat ja agentit, jotka ohjataan sivustolle, voivat lukea sen. Crawlerit, jotka ratkaisevat, lainaako tekoälyhaku sivuasi, työskentelevät HTML:si pohjalta.

Voit itse nähdä, lukeeko mikään tiedostoasi. Etsi palvelimen tai CDN:n lokeista pyyntöjä osoitteeseen /llms.txt ja katso user agentit. Jos pyyntöjä ei näy muutamaan viikkoon, se kertoo sivustosi kannalta enemmän sen arvosta kuin mikään yleinen väite.

Kannattaako sellainen silti lisätä

Useimmille sivustoille se on edullinen mutta epävarma lisäys. Se vie muutaman minuutin, ei voi vahingoittaa hakunäkyvyyttäsi ja voi auttaa agentteja, jotka sitä etsivät. Siitä on eniten hyötyä dokumentaatiolle, kehittäjätyökaluille ja tuotteille, joilla on paljon viitemateriaalia.

Se ei kuitenkaan voi korjata pääsyongelmia. Jos palomuuri estää tekoälycrawlerit, robots.txt kieltää ne tai sisältösi tulee näkyviin vasta JavaScriptin ajamisen jälkeen, llms.txt ei muuta mitään. Korjaa ne ensin.

Miten kirjoitan hyvän llms.txt:n

Miten AISeeWhy käsittelee llms.txt:ää

AISeeWhy tarkistaa, onko sivustollasi llms.txt ja onko tarkasteltava sivu siinä listattu. Koska tekoälycrawlerit lukevat sitä nykyään harvoin, puuttuva tiedosto on P3-havainto, alin prioriteetti, ja raportti sisältää sivusi otsikosta, kuvauksesta ja sivukartasta rakennetun luonnoksen, jota voit muokata ja julkaista.

Usein kysytyt kysymykset

Onko llms.txt virallinen standardi?

Ei. Se on yhteisön ehdotus, joka on julkaistu osoitteessa llmstxt.org. Se ei ole IETF:n tai W3C:n standardi, eikä mikään tekoälytoimittaja ole velvollinen lukemaan sitä.

Estääkö llms.txt tekoälykoulutuksen?

Ei. Se on lista linkkejä, ei oikeuksien joukko. Jos haluat kieltäytyä koulutuksesta, käytä robots.txt:n koulutustokeneita, kuten GPTBot, ClaudeBot tai Google-Extended.

Tarvitsenko llms.txt:n näkyäkseni Googlen tekoälytiivistelmissä?

Et. Google sanoo, ettei tekoälytiivistelmissä tai tekoälytilassa näkymiseen tarvita tekoälytekstitiedostoja tai erityisiä merkintöjä. Sivun on oltava indeksoitu ja kelpoinen näyttämään katkelma.

Voiko llms.txt olla alikansiossa?

Ehdotuksen nykyinen versio sallii tiedoston alipolulla, esimerkiksi /docs/llms.txt, ja se kattaa kyseisen polun alla olevat sivut. Useimmat sivustot tarvitsevat vain yhden tiedoston juureen.

Lähteet

Lisää artikkeleita