Elolvastuk a 10 000 legnépszerűbb oldal robots.txt fájlját. Ezt teszik az MI-crawlerekkel
A Tranco 10 000 legnépszerűbb domainje közül 6192 szolgál ki robots.txt fájlt. Ezek 23,2%-a blokkol legalább egy MI-tanító crawlert, 12,3%-a pedig legalább egy MI-keresőt vagy felhasználói crawlert. A tanítást blokkoló oldalak 51,6%-a az MI-keresést is blokkolja. Csak 11,2% tiltja a tanítást úgy, hogy minden MI-keresőcrawlert engedélyez.
Novemberben elolvastuk a 1000 legnépszerűbb domain robots.txt fájlját. Most 10 000 domaint vizsgáltunk ugyanazzal a módszerrel, és azt is megnéztük, hogyan változik a kép a kisebb oldalaknál. A fő megállapítás áll: a tanítás és a keresés blokkolását egyetlen döntésként kezelik, pedig két külön döntésről van szó.
Ezen az oldalon
Hogyan mértük?
A Tranco lista (listaazonosító: JZWZY) első 10 000 domainjét vettük, és 2026. november 21-én mindegyiknél egyszer lekértük a főoldalt, a robots.txt és az llms.txt fájlt az AISeeWhy saját user agentjével. Minden robots.txt fájlt az RFC 9309 szerint értékeltünk a főoldalra (/) és 16 MI- és keresőcrawlerre.
A 10 000 domain közül 6192 szolgált ki robots.txt fájlt (sikeres válasz, amely nem HTML-oldal). 1121 4xx hibával válaszolt, ami szabályok nélkül minden crawler engedélyezését jelenti, 2687 pedig nem szolgált ki ilyen fájlt (nincs HTTPS-oldal, hiba, időtúllépés vagy HTML-oldal került a helyére). Az alábbi százalékok mind a 6192 domainre vonatkoznak. A lista tartalmaz weboldalt nem kiszolgáló CDN-eket és API-kat is.
Mit találtunk?
- 23,2% (1437 domain) legalább egy MI-tanító crawlert blokkol.
- 12,3% (762) legalább egy MI-keresőt vagy felhasználói crawlert blokkol, így az oldalaik nem használhatók és nem idézhetők az arra épülő válaszokban.
- A tanítócrawlert blokkoló domainek 51,6%-a (1437-ből 742) legalább egy MI-keresőt vagy felhasználói crawlert is blokkol.
- Mindössze 11,2% (695) választja a szelektív utat: blokkolja a tanítócrawlereket, de minden MI-keresőt és felhasználói crawlert engedélyez.
- 6,5% (401) a
Content-Signalhasználatával jelzi MI-preferenciáit. - Mind a 10 000 domain 12,4%-a (1240) tesz közzé
llms.txtfájlt. - Összehasonlításként: 2,0% (124) blokkolja a
Googlebotcrawlert a főoldalon.
Melyik crawlert blokkolják a leggyakrabban?
Azon a 6192 domainen belüli arány, amelyek robots.txt fájlja tiltja a főoldalt az adott crawlernek:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.- A
PerplexityBot10,4%-kal a leggyakrabban blokkolt MI-keresőcrawler, megelőzi azOAI-SearchBot(7,0%) és aClaude-SearchBot(7,0%) crawlereket. - Azok a crawlerek, amelyek akkor nyitnak meg egy oldalt, ha egy ember kérdez:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
A nagyobb oldalak többet blokkolnak?
Igen, és gyakrabban keverik össze a tanítást a kereséssel. A listát rang szerint osztottuk fel:
- 1–1000. hely (560 domain robots.txt fájllal): 28,6% blokkolja a tanítást, 18,6% az MI-keresést, a tanítást blokkolók 63,1%-a az MI-keresést is.
- 1001–3000. hely (1256 domain): 23,5%, 13,5% és 55,6%.
- 3001–10 000. hely (4376 domain): 22,4%, 11,2% és 48,6%.
A szelektív út minden méretnél ritka: a három csoportban a domainek 10,5%, 10,4% és 11,5%-a választja.
Változott valami a november 12-i jelentésünk óta?
Ugyanezzel a listával újra lefuttattuk az első 1000 domaint. Az eredmény nagyjából egy százalékponton belül stabil: 28,6% blokkolja a tanítást (november 12-én 29,9%), 18,6% az MI-keresést (19,5%), és a tanítást blokkolók 63,1%-a az MI-keresést is (63,2%). A nevezők kissé eltérnek (most 560 domain szolgál ki robots.txt fájlt, akkor 518), mert ez a futás a lekérés előtt követi a domain átirányítását a fő hosztra.
Mit jelent ez a te robots.txt fájlodra nézve?
A legtöbb MI-cég külön crawlert dokumentál a tanításra és a keresésre, és azt közli, hogy a beállítások függetlenek. A GPTBot tiltása nem érinti az OAI-SearchBot crawlert, a ClaudeBot tiltása pedig nem érinti a Claude-SearchBot crawlert. Ha ki akarsz maradni a tanításból, de idézve szeretnél maradni, blokkold a tanítótokeneket, engedélyezd a keresési és felhasználói tokeneket, és minden csoportban ismételd meg a privát útvonalakat, mert a megnevezett csoport nem örökli a * szabályait.
Mennyire megbízhatók ezek a számok?
Ezek a főoldalra vonatkozó robots.txt szabályok, amelyeket egy értelmező olvasott be egyetlen napon. Nem mérik a tűzfalblokkokat, amelyek visszautasíthatnak olyan crawlert is, amelyet a robots.txt engedélyez. Nem derítik ki, mit szánt az egyes oldal, és a Tranco lista weboldalt nem kiszolgáló domaineket is tartalmaz. Az a szabály, amely blokkol egy keresőcrawlert, nem bizonyítja a tévedést, csak olyan döntést, amelyet gyakran a különbség ismerete nélkül hoznak meg. Az adatokat idézheted, ha linkelsz erre az oldalra.
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- llms.txt-ellenőrző és -validátor
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
A cikkben szereplő crawlerek
Gyakran ismételt kérdések
A népszerű oldalak hány százaléka blokkolja az MI-crawlereket?
A Tranco első 10 000 domainje közül robots.txt fájlt kiszolgáló 6192 domain 23,2%-a blokkol legalább egy MI-tanító crawlert, 12,3%-a pedig legalább egy MI-keresőt vagy felhasználói crawlert.
Az MI-tanítást blokkoló oldalak az MI-keresést is blokkolják?
Gyakran. A tanítócrawlert blokkoló oldalak 51,6%-a legalább egy MI-keresőt vagy felhasználói crawlert is blokkol, pedig a szolgáltatók ezeket külön crawlerként, független beállításokkal dokumentálják.
Melyik MI-crawlert blokkolják a leggyakrabban?
A tanítócrawlerek közül a Bytespider (18,7%) és a CCBot (18,5%), utánuk a GPTBot (17,4%). Az MI-keresőcrawlerek közül a PerplexityBot a leggyakrabban blokkolt, a domainek 10,4%-án.
Miért különböznek a számok az 1000 oldalas jelentéstől?
Az első 1000 domain szinte ugyanazokat a százalékokat adja (28,6% és 18,6% a 29,9% és 19,5% helyett). A 10 000 oldalas értékek alacsonyabbak, mert a kisebb oldalak kevesebbet blokkolnak.
Források
- AISeeWhy: MI-crawlerek hozzáférési jelentése, 2026-11
- Tranco: kutatásorientált toplista a legnépszerűbb oldalakról
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Az OpenAI crawlerek áttekintése
- Anthropic: Gyűjt az Anthropic adatokat a webről, és hogyan blokkolhatják az oldaltulajdonosok a crawlert?
- Perplexity: A Perplexity crawlerei