Elolvastuk a 10 000 legnépszerűbb oldal robots.txt fájlját. Ezt teszik az MI-crawlerekkel

Megjelent

Rövid válasz

A Tranco 10 000 legnépszerűbb domainje közül 6192 szolgál ki robots.txt fájlt. Ezek 23,2%-a blokkol legalább egy MI-tanító crawlert, 12,3%-a pedig legalább egy MI-keresőt vagy felhasználói crawlert. A tanítást blokkoló oldalak 51,6%-a az MI-keresést is blokkolja. Csak 11,2% tiltja a tanítást úgy, hogy minden MI-keresőcrawlert engedélyez.

Novemberben elolvastuk a 1000 legnépszerűbb domain robots.txt fájlját. Most 10 000 domaint vizsgáltunk ugyanazzal a módszerrel, és azt is megnéztük, hogyan változik a kép a kisebb oldalaknál. A fő megállapítás áll: a tanítás és a keresés blokkolását egyetlen döntésként kezelik, pedig két külön döntésről van szó.

Ezen az oldalon
  1. Hogyan mértük?
  2. Mit találtunk?
  3. Melyik crawlert blokkolják a leggyakrabban?
  4. A nagyobb oldalak többet blokkolnak?
  5. Változott valami a november 12-i jelentésünk óta?
  6. Mit jelent ez a te robots.txt fájlodra nézve?
  7. Mennyire megbízhatók ezek a számok?

Hogyan mértük?

A Tranco lista (listaazonosító: JZWZY) első 10 000 domainjét vettük, és 2026. november 21-én mindegyiknél egyszer lekértük a főoldalt, a robots.txt és az llms.txt fájlt az AISeeWhy saját user agentjével. Minden robots.txt fájlt az RFC 9309 szerint értékeltünk a főoldalra (/) és 16 MI- és keresőcrawlerre.

A 10 000 domain közül 6192 szolgált ki robots.txt fájlt (sikeres válasz, amely nem HTML-oldal). 1121 4xx hibával válaszolt, ami szabályok nélkül minden crawler engedélyezését jelenti, 2687 pedig nem szolgált ki ilyen fájlt (nincs HTTPS-oldal, hiba, időtúllépés vagy HTML-oldal került a helyére). Az alábbi százalékok mind a 6192 domainre vonatkoznak. A lista tartalmaz weboldalt nem kiszolgáló CDN-eket és API-kat is.

Mit találtunk?

Melyik crawlert blokkolják a leggyakrabban?

Azon a 6192 domainen belüli arány, amelyek robots.txt fájlja tiltja a főoldalt az adott crawlernek:

A nagyobb oldalak többet blokkolnak?

Igen, és gyakrabban keverik össze a tanítást a kereséssel. A listát rang szerint osztottuk fel:

A szelektív út minden méretnél ritka: a három csoportban a domainek 10,5%, 10,4% és 11,5%-a választja.

Változott valami a november 12-i jelentésünk óta?

Ugyanezzel a listával újra lefuttattuk az első 1000 domaint. Az eredmény nagyjából egy százalékponton belül stabil: 28,6% blokkolja a tanítást (november 12-én 29,9%), 18,6% az MI-keresést (19,5%), és a tanítást blokkolók 63,1%-a az MI-keresést is (63,2%). A nevezők kissé eltérnek (most 560 domain szolgál ki robots.txt fájlt, akkor 518), mert ez a futás a lekérés előtt követi a domain átirányítását a fő hosztra.

Mit jelent ez a te robots.txt fájlodra nézve?

A legtöbb MI-cég külön crawlert dokumentál a tanításra és a keresésre, és azt közli, hogy a beállítások függetlenek. A GPTBot tiltása nem érinti az OAI-SearchBot crawlert, a ClaudeBot tiltása pedig nem érinti a Claude-SearchBot crawlert. Ha ki akarsz maradni a tanításból, de idézve szeretnél maradni, blokkold a tanítótokeneket, engedélyezd a keresési és felhasználói tokeneket, és minden csoportban ismételd meg a privát útvonalakat, mert a megnevezett csoport nem örökli a * szabályait.

Mennyire megbízhatók ezek a számok?

Ezek a főoldalra vonatkozó robots.txt szabályok, amelyeket egy értelmező olvasott be egyetlen napon. Nem mérik a tűzfalblokkokat, amelyek visszautasíthatnak olyan crawlert is, amelyet a robots.txt engedélyez. Nem derítik ki, mit szánt az egyes oldal, és a Tranco lista weboldalt nem kiszolgáló domaineket is tartalmaz. Az a szabály, amely blokkol egy keresőcrawlert, nem bizonyítja a tévedést, csak olyan döntést, amelyet gyakran a különbség ismerete nélkül hoznak meg. Az adatokat idézheted, ha linkelsz erre az oldalra.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

A népszerű oldalak hány százaléka blokkolja az MI-crawlereket?

A Tranco első 10 000 domainje közül robots.txt fájlt kiszolgáló 6192 domain 23,2%-a blokkol legalább egy MI-tanító crawlert, 12,3%-a pedig legalább egy MI-keresőt vagy felhasználói crawlert.

Az MI-tanítást blokkoló oldalak az MI-keresést is blokkolják?

Gyakran. A tanítócrawlert blokkoló oldalak 51,6%-a legalább egy MI-keresőt vagy felhasználói crawlert is blokkol, pedig a szolgáltatók ezeket külön crawlerként, független beállításokkal dokumentálják.

Melyik MI-crawlert blokkolják a leggyakrabban?

A tanítócrawlerek közül a Bytespider (18,7%) és a CCBot (18,5%), utánuk a GPTBot (17,4%). Az MI-keresőcrawlerek közül a PerplexityBot a leggyakrabban blokkolt, a domainek 10,4%-án.

Miért különböznek a számok az 1000 oldalas jelentéstől?

Az első 1000 domain szinte ugyanazokat a százalékokat adja (28,6% és 18,6% a 29,9% és 19,5% helyett). A 10 000 oldalas értékek alacsonyabbak, mert a kisebb oldalak kevesebbet blokkolnak.

Források

További cikkek