Tízből négy céges weboldal elutasítja az MI-crawlereket
165 céges weboldal auditja alapján (USA, Egyesült Királyság, Franciaország) az oldalak 38%-a legalább egy MI-crawlert elutasított a szerveren, szinte mindig egy tanító vagy adatgyűjtő botot. Tízből nagyjából egy oldal MI-keresőcrawlert is kizárt, például a PerplexityBot vagy az OAI-SearchBot crawlert, vagyis azokat, amelyek hivatkozáshoz vezethetnek. Saját oldalad crawlerenként egyetlen kéréssel ellenőrizheted.
Megkérdezed a ChatGPT-t a saját termékedről, és az egy versenytársat, egy értékelőoldalt meg egy fórumbejegyzést említ. Néha ez tartalmi kérdés. Gyakran viszont egy tűzfal utasítja el az MI-crawlereket, amit a csapatodban senki sem látott, hiszen az oldal böngészőben működik.
Ezen az oldalon
Mit teszteltünk?
Ugyanarról a címről többször lekérünk egy oldalt: egyszer hétköznapi böngészőként, majd egyenként 14 MI- és keresőcrawlerként, köztük az OpenAI GPTBot, OAI-SearchBot és ChatGPT-User crawlereként, az Anthropic ClaudeBot és Claude-SearchBot crawlereként, valamint a Perplexity PerplexityBot crawlereként. Ha a böngésző megkapja az oldalt, a crawler viszont 401, 403, 406, 429, 451, 503 hibakódot vagy egy ellenőrző oldalt kap, akkor az oldal elutasítja azt a crawlert.
A minta 218 céges weboldal az USA-ból, az Egyesült Királyságból és Franciaországból, 2026. november 18. és 21. között auditáltuk őket. A teljes tesztet 165 oldalon tudtuk lefuttatni. A másik 53 még a sima böngészős kérésünket is elutasította, vagy nem válaszolt, ezért kihagytuk őket ahelyett, hogy találgatnánk.
Mit találtunk?
- A tesztelhető oldalak 38%-a (165-ből 63) legalább egy MI-crawlert elutasított.
- Ezek az oldalak mind elutasítottak legalább egy tanító vagy adatgyűjtő crawlert. A
Bytespidercrawlert az összes oldal 35%-a, aClaudeBotcrawlert 13%-a, aGPTBotcrawlert 11%-a utasította el. - Az oldalak 10%-a (16) legalább egy MI-keresőcrawlert is elutasított, 5%-uk (8) pedig olyan crawlert, amely élőben nyit meg egy oldalt, amikor valaki az asszisztenstől kérdez róla.
- A legfontosabb keresőcrawlerek a
PerplexityBot(11 oldal) és azOAI-SearchBot(5 oldal) voltak. - A tesztelt crawlerek valamelyikét elutasító 66 oldalból 32 mögött a Cloudflare állt. További 30 esetben nem tudtuk megállapítani, melyik tűzfal válaszolt.
Miért történik ez, és mikor tudatos döntés?
Ennek nagy része valószínűleg szándékos. Sok tulajdonos nem szeretné, hogy a tartalmát modellek tanítására használják, és az adatgyűjtőket blokkoló botvédelmi beállításokat könnyű bekapcsolni. Ez érthető döntés.
A gond az, hogy az MI-cégek külön crawlert futtatnak a tanításhoz és külön a kereséshez. A tanító crawler blokkolásához nem kell a keresőt is blokkolni, pedig a keresőcrawler az, amely miatt az oldalad megjelenhet hivatkozásként egy válaszban.
A legnagyobb oldalak jobban állnak?
Nem igazán. Az 1000 legnépszerűbb domainről készült robots.txt-jelentésünkben a robots.txt-fájllal rendelkező oldalak 29,9%-a blokkol legalább egy MI-tanító crawlert, ezek 63,2%-a pedig legalább egy MI-keresőt vagy felhasználói crawlert is. Csak 11,0% blokkolja a tanítást úgy, hogy minden MI-keresőcrawlert enged, pedig valószínűleg a legtöbben ezt szerették volna.
Hogyan ellenőrizhetem tíz perc alatt a saját oldalamat?
- Nyisd meg a
yoursite.com/robots.txtcímet. Minden fontos MI-crawlernél nézd meg, hogy van-e rá külön csoport, és mit mond. Az a csoport, amely név szerint megnevez egy crawlert, teljesen felülírja az általános*csoportot. - A szerver viselkedését teszteld, ne a fájl tartalmát. Kérd le a fontos oldaladat böngészőként, majd crawlerként. A 403-as vagy 429-es kód, a
Just a moment...címet viselő oldal, vagy a böngészőénél jóval kisebb válasz a tűzfalblokk árulkodó jele. - Kérdezd meg az asszisztenst. Bekapcsolt kereséssel tedd fel a ChatGPT-nek vagy a Perplexity-nek azokat a kérdéseket, amelyeket a vásárlóid is feltesznek, és nézd meg, mely oldalakra hivatkozik. Ha a hozzáférés rendben van, de mégsem szerepelsz, a probléma a tartalom, nem a hozzáférés.
Mennyire megbízhatók ezek a számok?
Mintázatnak tekintsd őket, ne népszámlálásnak. A minta nem véletlenszerű: hirdetési könyvtárakban, állásportálokon és térképes listákban talált cégekről van szó. Mi egyetlen címről, user agent alapján tesztelünk, a valódi crawlerek viszont a gyártóik által közzétett címekről érkeznek, így egyes tűzfalak a valódiakat másképp kezelnék. És a blokkolás nem mindig hiba.
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
A cikkben szereplő crawlerek
Gyakran ismételt kérdések
A weboldalak hány százaléka blokkolja az MI-crawlereket?
165 tesztelhető céges weboldal auditjában az oldalak 38%-a legalább egy MI-crawlert elutasított a szerveren, többnyire tanító és adatgyűjtő botokat. Nagyjából 10% MI-keresőcrawlert is elutasított.
A GPTBot blokkolása kizár a ChatGPT keresőjéből?
Nem. Az OpenAI szerint a crawlereire vonatkozó robots.txt-beállítások egymástól függetlenek: a GPTBot a tanításhoz, az OAI-SearchBot a ChatGPT kereséséhez kapcsolódik. Az egyik blokkolása nem blokkolja a másikat.
Hogyan blokkolhat egy oldal crawlert robots.txt nélkül?
Egy tűzfal-, CDN- vagy botvédelmi szabály 403-as, 429-es kóddal vagy ellenőrző oldallal válaszolhat a crawlernek. A robots.txt ezt sosem mutatja, ezért az oldalt crawlerként lekérve kell tesztelni.
Mindig hiba, ha egy oldal elutasít egy crawlert?
Nem. Sok tulajdonos szándékosan tartja távol a tanító crawlereket és az adatgyűjtőket. A hiba az, ha véletlenül a keresőcrawlereket is blokkolják, mert azok hivatkozhatnak az oldaladra.
Források
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)