Tízből négy céges weboldal elutasítja az MI-crawlereket

Megjelent

Rövid válasz

165 céges weboldal auditja alapján (USA, Egyesült Királyság, Franciaország) az oldalak 38%-a legalább egy MI-crawlert elutasított a szerveren, szinte mindig egy tanító vagy adatgyűjtő botot. Tízből nagyjából egy oldal MI-keresőcrawlert is kizárt, például a PerplexityBot vagy az OAI-SearchBot crawlert, vagyis azokat, amelyek hivatkozáshoz vezethetnek. Saját oldalad crawlerenként egyetlen kéréssel ellenőrizheted.

Megkérdezed a ChatGPT-t a saját termékedről, és az egy versenytársat, egy értékelőoldalt meg egy fórumbejegyzést említ. Néha ez tartalmi kérdés. Gyakran viszont egy tűzfal utasítja el az MI-crawlereket, amit a csapatodban senki sem látott, hiszen az oldal böngészőben működik.

Ezen az oldalon
  1. Mit teszteltünk?
  2. Mit találtunk?
  3. Miért történik ez, és mikor tudatos döntés?
  4. A legnagyobb oldalak jobban állnak?
  5. Hogyan ellenőrizhetem tíz perc alatt a saját oldalamat?
  6. Mennyire megbízhatók ezek a számok?

Mit teszteltünk?

Ugyanarról a címről többször lekérünk egy oldalt: egyszer hétköznapi böngészőként, majd egyenként 14 MI- és keresőcrawlerként, köztük az OpenAI GPTBot, OAI-SearchBot és ChatGPT-User crawlereként, az Anthropic ClaudeBot és Claude-SearchBot crawlereként, valamint a Perplexity PerplexityBot crawlereként. Ha a böngésző megkapja az oldalt, a crawler viszont 401, 403, 406, 429, 451, 503 hibakódot vagy egy ellenőrző oldalt kap, akkor az oldal elutasítja azt a crawlert.

A minta 218 céges weboldal az USA-ból, az Egyesült Királyságból és Franciaországból, 2026. november 18. és 21. között auditáltuk őket. A teljes tesztet 165 oldalon tudtuk lefuttatni. A másik 53 még a sima böngészős kérésünket is elutasította, vagy nem válaszolt, ezért kihagytuk őket ahelyett, hogy találgatnánk.

Mit találtunk?

Miért történik ez, és mikor tudatos döntés?

Ennek nagy része valószínűleg szándékos. Sok tulajdonos nem szeretné, hogy a tartalmát modellek tanítására használják, és az adatgyűjtőket blokkoló botvédelmi beállításokat könnyű bekapcsolni. Ez érthető döntés.

A gond az, hogy az MI-cégek külön crawlert futtatnak a tanításhoz és külön a kereséshez. A tanító crawler blokkolásához nem kell a keresőt is blokkolni, pedig a keresőcrawler az, amely miatt az oldalad megjelenhet hivatkozásként egy válaszban.

A legnagyobb oldalak jobban állnak?

Nem igazán. Az 1000 legnépszerűbb domainről készült robots.txt-jelentésünkben a robots.txt-fájllal rendelkező oldalak 29,9%-a blokkol legalább egy MI-tanító crawlert, ezek 63,2%-a pedig legalább egy MI-keresőt vagy felhasználói crawlert is. Csak 11,0% blokkolja a tanítást úgy, hogy minden MI-keresőcrawlert enged, pedig valószínűleg a legtöbben ezt szerették volna.

Hogyan ellenőrizhetem tíz perc alatt a saját oldalamat?

  1. Nyisd meg a yoursite.com/robots.txt címet. Minden fontos MI-crawlernél nézd meg, hogy van-e rá külön csoport, és mit mond. Az a csoport, amely név szerint megnevez egy crawlert, teljesen felülírja az általános * csoportot.
  2. A szerver viselkedését teszteld, ne a fájl tartalmát. Kérd le a fontos oldaladat böngészőként, majd crawlerként. A 403-as vagy 429-es kód, a Just a moment... címet viselő oldal, vagy a böngészőénél jóval kisebb válasz a tűzfalblokk árulkodó jele.
  3. Kérdezd meg az asszisztenst. Bekapcsolt kereséssel tedd fel a ChatGPT-nek vagy a Perplexity-nek azokat a kérdéseket, amelyeket a vásárlóid is feltesznek, és nézd meg, mely oldalakra hivatkozik. Ha a hozzáférés rendben van, de mégsem szerepelsz, a probléma a tartalom, nem a hozzáférés.

Mennyire megbízhatók ezek a számok?

Mintázatnak tekintsd őket, ne népszámlálásnak. A minta nem véletlenszerű: hirdetési könyvtárakban, állásportálokon és térképes listákban talált cégekről van szó. Mi egyetlen címről, user agent alapján tesztelünk, a valódi crawlerek viszont a gyártóik által közzétett címekről érkeznek, így egyes tűzfalak a valódiakat másképp kezelnék. És a blokkolás nem mindig hiba.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

A weboldalak hány százaléka blokkolja az MI-crawlereket?

165 tesztelhető céges weboldal auditjában az oldalak 38%-a legalább egy MI-crawlert elutasított a szerveren, többnyire tanító és adatgyűjtő botokat. Nagyjából 10% MI-keresőcrawlert is elutasított.

A GPTBot blokkolása kizár a ChatGPT keresőjéből?

Nem. Az OpenAI szerint a crawlereire vonatkozó robots.txt-beállítások egymástól függetlenek: a GPTBot a tanításhoz, az OAI-SearchBot a ChatGPT kereséséhez kapcsolódik. Az egyik blokkolása nem blokkolja a másikat.

Hogyan blokkolhat egy oldal crawlert robots.txt nélkül?

Egy tűzfal-, CDN- vagy botvédelmi szabály 403-as, 429-es kóddal vagy ellenőrző oldallal válaszolhat a crawlernek. A robots.txt ezt sosem mutatja, ezért az oldalt crawlerként lekérve kell tesztelni.

Mindig hiba, ha egy oldal elutasít egy crawlert?

Nem. Sok tulajdonos szándékosan tartja távol a tanító crawlereket és az adatgyűjtőket. A hiba az, ha véletlenül a keresőcrawlereket is blokkolják, mert azok hivatkozhatnak az oldaladra.

Források

További cikkek