Mi az az llms.txt, és érdemes-e hozzáadni?
Az llms.txt egy javasolt Markdown-fájl a /llms.txt címen, amely rövid összefoglalót ad az AI-eszközöknek a webhelyéről, és linkeket a leghasznosabb oldalaihoz. Közösségi javaslat, nem szabvány, és a nagy AI-keresőcrawlerek nem mondják, hogy használják. Olcsó hozzáadni, de nem helyettesíti a bejárható HTML-t.
Az llms.txt sok figyelmet kap, és gyakran az AI robots.txt-jeként mutatják be. Valami más: a robots.txt azt rögzíti, mit tölthetnek le a crawlerek, az llms.txt viszont olvasási útmutató, amely az AI-eszközöket az olvasásra érdemes tartalomhoz irányítja. Itt azt találja, mit mond a javaslat, mit lehet tudni a használatáról, és hogyan írhat egyet.
Ezen az oldalon
Honnan ered az llms.txt?
Jeremy Howard 2024 szeptemberében javasolta a /llms.txt fájlt, a javaslatot az llmstxt.org gondozza. A célja, hogy egyetlen fájlt szabványosítson, amely segít a nyelvi modelleknek és ügynököknek használni egy webhelyet válaszadáskor, például amikor egy kódolóasszisztensnek egy könyvtár dokumentációjára van szüksége, és nem a tanításhoz.
Az ötlet valódi problémára válaszol. A weboldalak navigációt, szkripteket, bannereket és elrendezést hordoznak. Egy rövid, gondozott Markdown-fájl, amely a kulcsoldalak letisztított változataira mutat, könnyebben kezelhető egy modell számára a korlátozott kontextusablakban.
Mi kerül egy llms.txt fájlba?
A fájl Markdown, rögzített sorrenddel. Csak az első elem kötelező:
- Egy H1 a webhely vagy projekt nevével (kötelező).
- Egy idézetblokk a webhely rövid összefoglalójával.
- Opcionális bekezdések vagy listák további részletekkel, címsorok nélkül.
- H2 szakaszok, mindegyikben Markdown-linkek listájával
[name](url)formában, amelyeket opcionálisan kettőspont és megjegyzés követ. - Egy opcionális,
Optionalnevű szakasz másodlagos linkeknek, amelyeket az eszköz kihagyhat, ha kevesebb kontextusra van szüksége.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
A javaslat azt is felveti, hogy az oldalak Markdown-változatát ugyanazon az URL-en kínálják .md hozzáadásával, például page.html.md, hogy az eszközök tiszta szöveget kérhessenek le.
Ki olvassa ma valójában az llms.txt-t?
Itt érdemes óvatosnak lenni. Az llmstxt.org szerint a fájlokat leginkább szoftverdokumentációhoz használják, ahol a kódoló ügynökök követik őket. Az OpenAI, az Anthropic, a Google és a Perplexity az általunk átnézett crawlerdokumentációban nem sorolja az llms.txt-t a keresőcrawlerei által használt jelek közé.
A Google a saját Keresési funkcióinál még tovább megy. Az AI Overviews és az AI Mode útmutatója szerint nem kell új, géppel olvasható fájlokat, AI-szövegfájlokat vagy jelölést létrehozni ahhoz, hogy megjelenjen bennük. A Google Keresésben az llms.txt-nek nincs megnevezett szerepe.
Az őszinte válasz tehát: egyes AI-eszközök, főleg a kódolóasszisztensek és a webhelyre irányított ügynökök olvashatják. Azok a crawlerek, amelyek eldöntik, hogy az AI-keresés idézi-e az oldalát, a HTML-jéből dolgoznak.
Maga is megnézheti, olvassa-e valami a fájlját. Keressen a szerver- vagy CDN-naplókban a /llms.txt kéréseire, és nézze meg a user agenteket. Ha néhány hétig nem jelenik meg kérés, az többet elárul az értékéről az Ön webhelyén, mint bármilyen általános állítás.
Érdemes mégis hozzáadni?
A legtöbb webhelynél ez kis költségű, kis bizonyosságú kiegészítés. Néhány perc, nem árthat a keresési láthatóságnak, és segíthet azoknak az ügynököknek, amelyek keresik. Leginkább dokumentációnál, fejlesztői eszközöknél és sok referenciaanyaggal rendelkező termékeknél hasznos.
Azt viszont nem tudja, hogy megoldja a hozzáférési problémákat. Ha egy tűzfal blokkolja az AI-crawlereket, a robots.txt tiltja őket, vagy a tartalma csak a JavaScript lefutása után jelenik meg, az llms.txt semmin sem változtat. Először azokat javítsa.
Hogyan írjak jó llms.txt-t?
- Tegye a
https://yourdomain.com/llms.txtcímre, és sima szövegként szolgálja ki 200-as státusszal, nem HTML-oldalként. - Az összefoglalót úgy írja meg, ahogy két mondatban elmagyarázná a webhelyet egy új kollégának: mi ez, kinek szól.
- Azokat az oldalakat sorolja fel, amelyek valódi kérdésekre válaszolnak: termék, árazás, dokumentáció, szabályzatok. Hagyja ki a címkeoldalakat és az archívumokat.
- Használjon abszolút URL-eket, és tartsa elég rövidre a listát ahhoz, hogy hasznos maradjon; a legtöbb webhelynek néhány tucat link bőven elég.
- Tartsa naprakészen. Egy törölt oldalakra mutató fájl rosszabb, mint a semmi.
- Ne használja engedélyek rögzítésére. A hozzáférési szabályok a robots.txt-be valók.
Hogyan kezeli az AISeeWhy az llms.txt-t?
Az AISeeWhy ellenőrzi, hogy a webhelyén van-e llms.txt, és hogy a vizsgált oldal szerepel-e benne. Mivel az AI-crawlerek ma ritkán olvassák, a hiányzó fájl P3-as találat, a legalacsonyabb prioritású, és a jelentés tartalmaz egy, az oldal címéből, leírásából és sitemapjéből készült piszkozatot, amelyet szerkeszthet és közzétehet.
Gyakran ismételt kérdések
Hivatalos szabvány az llms.txt?
Nem. Közösségi javaslat, amelyet az llmstxt.org tesz közzé. Nem IETF- vagy W3C-szabvány, és egyetlen AI-szolgáltatót sem kötelez az olvasására.
Blokkolja az llms.txt az AI-tanítást?
Nem. Linkek listája, nem engedélyek összessége. A tanításból való kilépéshez használja a robots.txt tanítótokenjeit, például a GPTBot, ClaudeBot vagy Google-Extended tokent.
Kell az llms.txt ahhoz, hogy megjelenjek a Google AI Overviews funkciójában?
Nem. A Google szerint nincs szükség AI-szövegfájlokra vagy különleges jelölésre ahhoz, hogy megjelenjen az AI Overviews vagy az AI Mode felületén. Az oldalnak indexelve kell lennie, és jogosultnak kell lennie a kivonat megjelenítésére.
Lehet az llms.txt almappában?
A javaslat jelenlegi változata megenged egy fájlt alútvonalon is, például /docs/llms.txt, amely az adott útvonal alatti oldalakat fedi le. A legtöbb webhelynek elég egyetlen fájl a gyökérben.
Források
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers