Mi az az llms.txt, és érdemes-e hozzáadni?

Megjelent

Rövid válasz

Az llms.txt egy javasolt Markdown-fájl a /llms.txt címen, amely rövid összefoglalót ad az AI-eszközöknek a webhelyéről, és linkeket a leghasznosabb oldalaihoz. Közösségi javaslat, nem szabvány, és a nagy AI-keresőcrawlerek nem mondják, hogy használják. Olcsó hozzáadni, de nem helyettesíti a bejárható HTML-t.

Az llms.txt sok figyelmet kap, és gyakran az AI robots.txt-jeként mutatják be. Valami más: a robots.txt azt rögzíti, mit tölthetnek le a crawlerek, az llms.txt viszont olvasási útmutató, amely az AI-eszközöket az olvasásra érdemes tartalomhoz irányítja. Itt azt találja, mit mond a javaslat, mit lehet tudni a használatáról, és hogyan írhat egyet.

Ezen az oldalon
  1. Honnan ered az llms.txt?
  2. Mi kerül egy llms.txt fájlba?
  3. Ki olvassa ma valójában az llms.txt-t?
  4. Érdemes mégis hozzáadni?
  5. Hogyan írjak jó llms.txt-t?
  6. Hogyan kezeli az AISeeWhy az llms.txt-t?

Honnan ered az llms.txt?

Jeremy Howard 2024 szeptemberében javasolta a /llms.txt fájlt, a javaslatot az llmstxt.org gondozza. A célja, hogy egyetlen fájlt szabványosítson, amely segít a nyelvi modelleknek és ügynököknek használni egy webhelyet válaszadáskor, például amikor egy kódolóasszisztensnek egy könyvtár dokumentációjára van szüksége, és nem a tanításhoz.

Az ötlet valódi problémára válaszol. A weboldalak navigációt, szkripteket, bannereket és elrendezést hordoznak. Egy rövid, gondozott Markdown-fájl, amely a kulcsoldalak letisztított változataira mutat, könnyebben kezelhető egy modell számára a korlátozott kontextusablakban.

Mi kerül egy llms.txt fájlba?

A fájl Markdown, rögzített sorrenddel. Csak az első elem kötelező:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

A javaslat azt is felveti, hogy az oldalak Markdown-változatát ugyanazon az URL-en kínálják .md hozzáadásával, például page.html.md, hogy az eszközök tiszta szöveget kérhessenek le.

Ki olvassa ma valójában az llms.txt-t?

Itt érdemes óvatosnak lenni. Az llmstxt.org szerint a fájlokat leginkább szoftverdokumentációhoz használják, ahol a kódoló ügynökök követik őket. Az OpenAI, az Anthropic, a Google és a Perplexity az általunk átnézett crawlerdokumentációban nem sorolja az llms.txt-t a keresőcrawlerei által használt jelek közé.

A Google a saját Keresési funkcióinál még tovább megy. Az AI Overviews és az AI Mode útmutatója szerint nem kell új, géppel olvasható fájlokat, AI-szövegfájlokat vagy jelölést létrehozni ahhoz, hogy megjelenjen bennük. A Google Keresésben az llms.txt-nek nincs megnevezett szerepe.

Az őszinte válasz tehát: egyes AI-eszközök, főleg a kódolóasszisztensek és a webhelyre irányított ügynökök olvashatják. Azok a crawlerek, amelyek eldöntik, hogy az AI-keresés idézi-e az oldalát, a HTML-jéből dolgoznak.

Maga is megnézheti, olvassa-e valami a fájlját. Keressen a szerver- vagy CDN-naplókban a /llms.txt kéréseire, és nézze meg a user agenteket. Ha néhány hétig nem jelenik meg kérés, az többet elárul az értékéről az Ön webhelyén, mint bármilyen általános állítás.

Érdemes mégis hozzáadni?

A legtöbb webhelynél ez kis költségű, kis bizonyosságú kiegészítés. Néhány perc, nem árthat a keresési láthatóságnak, és segíthet azoknak az ügynököknek, amelyek keresik. Leginkább dokumentációnál, fejlesztői eszközöknél és sok referenciaanyaggal rendelkező termékeknél hasznos.

Azt viszont nem tudja, hogy megoldja a hozzáférési problémákat. Ha egy tűzfal blokkolja az AI-crawlereket, a robots.txt tiltja őket, vagy a tartalma csak a JavaScript lefutása után jelenik meg, az llms.txt semmin sem változtat. Először azokat javítsa.

Hogyan írjak jó llms.txt-t?

Hogyan kezeli az AISeeWhy az llms.txt-t?

Az AISeeWhy ellenőrzi, hogy a webhelyén van-e llms.txt, és hogy a vizsgált oldal szerepel-e benne. Mivel az AI-crawlerek ma ritkán olvassák, a hiányzó fájl P3-as találat, a legalacsonyabb prioritású, és a jelentés tartalmaz egy, az oldal címéből, leírásából és sitemapjéből készült piszkozatot, amelyet szerkeszthet és közzétehet.

Gyakran ismételt kérdések

Hivatalos szabvány az llms.txt?

Nem. Közösségi javaslat, amelyet az llmstxt.org tesz közzé. Nem IETF- vagy W3C-szabvány, és egyetlen AI-szolgáltatót sem kötelez az olvasására.

Blokkolja az llms.txt az AI-tanítást?

Nem. Linkek listája, nem engedélyek összessége. A tanításból való kilépéshez használja a robots.txt tanítótokenjeit, például a GPTBot, ClaudeBot vagy Google-Extended tokent.

Kell az llms.txt ahhoz, hogy megjelenjek a Google AI Overviews funkciójában?

Nem. A Google szerint nincs szükség AI-szövegfájlokra vagy különleges jelölésre ahhoz, hogy megjelenjen az AI Overviews vagy az AI Mode felületén. Az oldalnak indexelve kell lennie, és jogosultnak kell lennie a kivonat megjelenítésére.

Lehet az llms.txt almappában?

A javaslat jelenlegi változata megenged egy fájlt alútvonalon is, például /docs/llms.txt, amely az adott útvonal alatti oldalakat fedi le. A legtöbb webhelynek elég egyetlen fájl a gyökérben.

Források

További cikkek