Hány oldal tesz közzé llms.txt fájlt? Megnéztünk 10 000 domaint

Megjelent

Rövid válasz

A 10 000 legnépszerűbb domain 12,4%-a tesz közzé llms.txt fájlt (1240), azok közül pedig, amelyek főoldala HTML-lel válaszol, 16,7%. A nagyobb oldalak gyakrabban teszik közzé. Az llms.txt fájlt közzétevő oldalak az esetek 1,4%-ában blokkolják az MI-keresőcrawlereket, a nélküle működők 15,0%-ában. Ez csak a közzétételt számolja: nem mutatja, hogy bármelyik MI-asszisztens olvassa-e a fájlt.

Az llms.txt az MI-keresés egyik legtöbbet emlegetett és legkevésbé mért fájlja. A 10 000 legnépszerűbb domain robots.txt-fájlját már korábban beolvastuk, és ugyanebben a menetben mindegyiktől elkértük a /llms.txt címet is. Ezt kaptuk.

Ezen az oldalon
  1. Hogyan ellenőriztünk?
  2. Mit találtunk?
  3. A nagyobb oldalak gyakrabban teszik közzé?
  4. Kik teszik közzé?
  5. Mit nem mutat ez az adat?
  6. Érdemes közzétenni?

Hogyan ellenőriztünk?

A Tranco lista (listaazonosító: JZWZY) első 10 000 domainjét vettük, és 2026. november 21-én mindegyiktől egyszer lekértük a /llms.txt címet az AISeeWhy saját user agentjével, miután beolvastuk a főoldalt, és követtük az átirányítását a fő hosztra.

Egy domain akkor számít llms.txt-közzétevőnek, ha maga a /llms.txt 200-as kóddal válaszol, a válasz nem üres szöveg, nem HTML-oldal, és nincs átirányítás másik oldalra, például bejelentkezési oldalra vagy a főoldalra. A fájl formátumát ebben a futtatásban nem ellenőriztük.

Mit találtunk?

A nagyobb oldalak gyakrabban teszik közzé?

Igen, egyértelműen. A weboldalakat (azokat a domaineket, amelyek főoldala HTML-lel válaszolt) Tranco-rang szerint osztottuk fel:

Kik teszik közzé?

A robots.txt-fájlt kiszolgáló 6192 domain között az llms.txt fájlt közzétevők másképp néznek ki, mint a többiek:

Vagyis azok az oldalak, amelyek vesződnek az llms.txt közzétételével, többnyire már eleve beengedik az MI-crawlereket.

Mit nem mutat ez az adat?

Összefüggést mutat, nem okozatot. Az az oldal, amely komolyan veszi az MI-láthatóságot, közzétehet llms.txt fájlt, és nyitva is tarthatja a robots.txt-jét; ez nem jelenti, hogy a fájl okozta a különbséget. A számolás ráadásul csak a közzétételt méri. Nem mutatja, hogy bármelyik MI-asszisztens olvassa-e a fájlt, és a nagy MI-keresőcrawlerek nem állítják, hogy használnák.

A számok a főoldali szabályokat és az egyetlen címen lévő fájlt írják le, egy adott napon, a legnépszerűbb domainekre. A kisebb oldalak másképp nézhetnek ki.

Érdemes közzétenni?

Olcsó és ártalmatlan: egy rövid Markdown-összefoglaló az oldaladról és a leghasznosabb oldalaid listája. Tartsd pontosan, és ügyelj rá, hogy a linkek működjenek. Ne tekintsd a crawlerek beengedésének helyettesítőjének: az llms.txt senkinek sem segít azon az oldalon, amelynek tűzfala elutasítja a crawlert, vagy amelynek robots.txt-je tiltja.

Ingyenes eszközök

Következő lépések

Gyakran ismételt kérdések

A weboldalak hány százalékának van llms.txt fájlja?

Az általunk vizsgált 10 000 legnépszerűbb domain 12,4%-a teszi közzé. Azok közül, amelyek főoldala HTML-lel válaszol, 16,7%, a legnagyobb oldalaknál pedig magasabb az arány: az első 1000 között 22,6%.

Az llms.txt fájllal rendelkező oldalak gyakrabban engedik be az MI-crawlereket?

Az adataink szerint igen: az MI-kereső és felhasználói crawlereket az esetek 1,4%-ában blokkolják, a fájl nélküli oldalak 15,0%-ával szemben. Ez korreláció. Nem bizonyítja, hogy a fájl megváltoztatja, hogyan bánnak a crawlerek az oldallal.

Segít az llms.txt abban, hogy az MI-asszisztensek hivatkozzanak rám?

Az adataink erre nem adnak választ. Azt számolják, mely oldalak teszik közzé a fájlt, nem azt, hogy egy asszisztens használja-e, és a nagy MI-keresőcrawlerek nem állítják, hogy olvasnák. A bejárható oldalak és a nyitott hozzáférés többet számítanak.

Honnan tudható, hogy egy oldalnak valódi llms.txt fájlja van?

Kérd le a /llms.txt címet, és ellenőrizd, hogy azon a címen 200-as kóddal válaszol-e, és a válasz szöveg, nem HTML-oldal. A főoldalra vagy bejelentkezési oldalra mutató átirányítás nem llms.txt.

Források

További cikkek