Hány oldal tesz közzé llms.txt fájlt? Megnéztünk 10 000 domaint
A 10 000 legnépszerűbb domain 12,4%-a tesz közzé llms.txt fájlt (1240), azok közül pedig, amelyek főoldala HTML-lel válaszol, 16,7%. A nagyobb oldalak gyakrabban teszik közzé. Az llms.txt fájlt közzétevő oldalak az esetek 1,4%-ában blokkolják az MI-keresőcrawlereket, a nélküle működők 15,0%-ában. Ez csak a közzétételt számolja: nem mutatja, hogy bármelyik MI-asszisztens olvassa-e a fájlt.
Az llms.txt az MI-keresés egyik legtöbbet emlegetett és legkevésbé mért fájlja. A 10 000 legnépszerűbb domain robots.txt-fájlját már korábban beolvastuk, és ugyanebben a menetben mindegyiktől elkértük a /llms.txt címet is. Ezt kaptuk.
Ezen az oldalon
Hogyan ellenőriztünk?
A Tranco lista (listaazonosító: JZWZY) első 10 000 domainjét vettük, és 2026. november 21-én mindegyiktől egyszer lekértük a /llms.txt címet az AISeeWhy saját user agentjével, miután beolvastuk a főoldalt, és követtük az átirányítását a fő hosztra.
Egy domain akkor számít llms.txt-közzétevőnek, ha maga a /llms.txt 200-as kóddal válaszol, a válasz nem üres szöveg, nem HTML-oldal, és nincs átirányítás másik oldalra, például bejelentkezési oldalra vagy a főoldalra. A fájl formátumát ebben a futtatásban nem ellenőriztük.
Mit találtunk?
- A 10 000 domainből 1240 (12,4%) tesz közzé
llms.txtfájlt. - A lista tartalmaz CDN-eket és API-hosztokat is, amelyek nem szolgálnak ki weboldalt. Azon 7367 domain közül, amelynek főoldala HTML-lel válaszolt, 1233 (16,7%) teszi közzé.
- Szinte mindegyikük robots.txt-fájlt is kiszolgál: az 1240-ből 1229.
A nagyobb oldalak gyakrabban teszik közzé?
Igen, egyértelműen. A weboldalakat (azokat a domaineket, amelyek főoldala HTML-lel válaszolt) Tranco-rang szerint osztottuk fel:
- 1–1000. hely: 22,6% tesz közzé llms.txt fájlt (658 weboldalból 149).
- 1001–3000. hely: 18,2% (1449-ből 264).
- 3001–10 000. hely: 15,6% (5260-ból 820).
Kik teszik közzé?
A robots.txt-fájlt kiszolgáló 6192 domain között az llms.txt fájlt közzétevők másképp néznek ki, mint a többiek:
- Az esetek 11,8%-ában blokkolnak legalább egy MI-tanító crawlert, az llms.txt nélküli domainek 26,0%-ával szemben.
- Az esetek 1,4%-ában blokkolnak legalább egy MI-kereső vagy felhasználói crawlert, szemben a 15,0%-kal.
- Az esetek 12,9%-ában használnak
Content-Signalsort, szemben a 4,9%-kal.
Vagyis azok az oldalak, amelyek vesződnek az llms.txt közzétételével, többnyire már eleve beengedik az MI-crawlereket.
Mit nem mutat ez az adat?
Összefüggést mutat, nem okozatot. Az az oldal, amely komolyan veszi az MI-láthatóságot, közzétehet llms.txt fájlt, és nyitva is tarthatja a robots.txt-jét; ez nem jelenti, hogy a fájl okozta a különbséget. A számolás ráadásul csak a közzétételt méri. Nem mutatja, hogy bármelyik MI-asszisztens olvassa-e a fájlt, és a nagy MI-keresőcrawlerek nem állítják, hogy használnák.
A számok a főoldali szabályokat és az egyetlen címen lévő fájlt írják le, egy adott napon, a legnépszerűbb domainekre. A kisebb oldalak másképp nézhetnek ki.
Érdemes közzétenni?
Olcsó és ártalmatlan: egy rövid Markdown-összefoglaló az oldaladról és a leghasznosabb oldalaid listája. Tartsd pontosan, és ügyelj rá, hogy a linkek működjenek. Ne tekintsd a crawlerek beengedésének helyettesítőjének: az llms.txt senkinek sem segít azon az oldalon, amelynek tűzfala elutasítja a crawlert, vagy amelynek robots.txt-je tiltja.
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- llms.txt-ellenőrző és -validátor
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
Gyakran ismételt kérdések
A weboldalak hány százalékának van llms.txt fájlja?
Az általunk vizsgált 10 000 legnépszerűbb domain 12,4%-a teszi közzé. Azok közül, amelyek főoldala HTML-lel válaszol, 16,7%, a legnagyobb oldalaknál pedig magasabb az arány: az első 1000 között 22,6%.
Az llms.txt fájllal rendelkező oldalak gyakrabban engedik be az MI-crawlereket?
Az adataink szerint igen: az MI-kereső és felhasználói crawlereket az esetek 1,4%-ában blokkolják, a fájl nélküli oldalak 15,0%-ával szemben. Ez korreláció. Nem bizonyítja, hogy a fájl megváltoztatja, hogyan bánnak a crawlerek az oldallal.
Segít az llms.txt abban, hogy az MI-asszisztensek hivatkozzanak rám?
Az adataink erre nem adnak választ. Azt számolják, mely oldalak teszik közzé a fájlt, nem azt, hogy egy asszisztens használja-e, és a nagy MI-keresőcrawlerek nem állítják, hogy olvasnák. A bejárható oldalak és a nyitott hozzáférés többet számítanak.
Honnan tudható, hogy egy oldalnak valódi llms.txt fájlja van?
Kérd le a /llms.txt címet, és ellenőrizd, hogy azon a címen 200-as kóddal válaszol-e, és a válasz szöveg, nem HTML-oldal. A főoldalra vagy bejelentkezési oldalra mutató átirányítás nem llms.txt.
Források
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers