Hogyan ellenőrizze, hogy egy webhely blokkolja-e az AI-crawlereket

Illessze be bármelyik címet, és nézze meg, blokkolja-e a GPTBot, a ClaudeBot, a PerplexityBot és a többi AI-crawlert: a robots.txt-ben, a tűzfalon, vagy mindkettőn.

Ingyenes · Regisztráció nélkül · Eredmény 30 másodperc alatt

Mely crawlerek vannak blokkolva

A tanító, a kereső és a felhasználói crawlerek külön jelennek meg, mert a GPTBot tiltása nem tiltja az OAI-SearchBot-ot, a ClaudeBot tiltása pedig nem tiltja a Claude-SearchBot-ot.

A döntő sor

Az egyes crawlerekhez a robots.txt-t az RFC 9309 szabályai szerint olvassuk: a crawlert megnevező csoportot, ennek hiányában a User-agent: * csoportot, és a győztes szabályt.

Tűzfali elutasítások

Az oldalt 14 crawlerként és egy hagyományos böngészőként is lekérjük. A blokkolásokat és a kihívásoldalakat jelezzük, és megnevezzük a válaszoló tűzfalat.

Javítás minden találathoz

Minden találathoz megkapja a szükséges módosítást. Az ingyenes ellenőrzés megmutatja a pontszámát és az első találatot; a teljes jelentés $29, egyszeri díjjal.

Rövid válasz

Egy webhely két helyen blokkolhatja az AI-crawlereket: a robots.txt-ben, amely arra kéri a crawlereket, hogy maradjanak távol, és a szerveren vagy a tűzfalon, amely ténylegesen elutasítja őket. A robots.txt-ben keresse meg az egyes crawlerek tokenjéhez tartozó csoportot, ha pedig nincs ilyen, a User-agent: * csoportot. Ezután kérje le az oldalt a crawler nevében, és vesse össze azzal, amit egy böngésző kap. Egy böngészőbővítmény a robots.txt részét 16 AI-crawlerre egy kattintással elvégzi.

Ellenőrzés kézzel, 3 lépésben

  1. Válassza ki a crawlert

    Minden AI-cég külön crawlereket üzemeltet. Tanítás: GPTBot, ClaudeBot. Keresés: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Felhasználói kérésre: ChatGPT-User, Claude-User, Perplexity-User.

  2. Olvassa el hozzá a robots.txt-t

    Nyissa meg a https://example.com/robots.txt címet, és keresse meg a crawlert megnevező csoportot. Ha nincs ilyen, a User-agent: * csoport érvényes; ha az sincs, minden engedélyezett.

  3. Kérje le az oldalt a crawler nevében

    Kérje le az oldalt a crawler user agentjével, és vesse össze az állapotkódot és a méretet a böngészőével. A 403, a kihívásoldal vagy a jóval kisebb 200 azt jelenti, hogy a tűzfal elutasítja.

Gyakran ismételt kérdések

Nyitva áll az AI-crawlerek előtt egy robots.txt nélküli webhely?

Igen, ami a robots.txt-t illeti. Ha a robots.txt 404-et ad, nincsenek szabályok, így minden crawler lekérhet minden oldalt. Egy tűzfal ettől még blokkolhatja a crawlereket.

Mutatja a bővítmény a tűzfal általi blokkolást?

Nem. A robots.txt-t olvassa a böngészőjéből, ami azt mutatja, mit kér a webhely a crawlerektől. A tűzfal és a botvédelem általi blokkoláshoz a crawler nevében küldött kérés kell, ezt végzi el az aiseewhy.com teljes ellenőrzése.

Ellenőrizhetek olyan webhelyet, amely nem az enyém?

Igen. A robots.txt nyilvános, és a bővítmény csak a webhely által közzétett robots.txt és llms.txt fájlt olvassa, ugyanazokat a fájlokat, amelyeket minden crawler elolvas.

Olvassa el a teljes útmutatót

Akár a saját webhelyét ellenőrzi egy módosítás után, akár valaki más webhelyét nézi meg, mielőtt támaszkodna rá, a „blokkolja ez a webhely az AI-crawlereket?” kérdésre pontos válasz adható. A válasz attól függ, melyik crawlerre gondol, mert az AI-cégek külön crawlert használnak a tanításhoz, a kereséshez és az élő látogatásokhoz, és egy webhely mindegyiket másként kezelheti. Ez az útmutató három ellenőrzést mutat be, a leggyorsabbtól a legteljesebbig.

Hol blokkolhatja egy webhely az AI-crawlereket?

Három réteg van, és a crawlernek mindegyiken át kell jutnia ahhoz, hogy felhasználhasson egy oldalt.

  • robots.txt: nyilvános szabályfájl, amelyet a jól viselkedő crawlerek elolvasnak, mielőtt bármit lekérnének. Ez kérés, nem zár.
  • A szerver, a CDN vagy a tűzfal: ez dönti el, mi megy vissza valójában. Egy botvédelmi szabály 403-mal, 429-cel vagy kihívásoldallal válaszolhat egy crawlernek akkor is, ha a robots.txt engedi.
  • Maga az oldal: ha a fő szöveg csak a JavaScript lefutása után jelenik meg, a kezdeti HTML-t olvasó crawler szinte üres oldalt kap, pedig semmi sem blokkolta.

A legtöbb gyors ellenőrzés csak az első réteget nézi. Ez jó kiindulás, ha nem feledkezik meg a másik kettőről.

Hogyan olvassam el a robots.txt-t egyetlen AI-crawlerre?

Nyissa meg a https://example.com/robots.txt címet egy böngészőben, és keresse meg a crawlerre vonatkozó csoportot. Egy csoport egy vagy több User-agent sorral kezdődik. A crawler azt a csoportot használja, amely a tokenjét nevezi meg, például a GPTBot tokent; a kis- és nagybetűk nem számítanak. Ha egyik csoport sem nevezi meg, a User-agent: * csoportot használja. Ha egyik sincs, minden engedélyezett.

A csoporton belül a leghosszabb illeszkedő útvonalú szabály nyer, és ha egy Allow és egy Disallow egyforma hosszú, az Allow nyer. Az alábbi fájl tehát az egész webhelyről kitiltja a GPTBotot, minden más crawlert viszont beenged:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Azt is nézze meg, hogyan válaszol a fájl. Az RFC 9309 szerint a 404 azt jelenti, hogy nincsenek szabályok, tehát minden engedélyezett. A szerverhiba (5xx) vagy a válasz hiánya azt jelenti, hogy a crawlernek az egész webhelyet tiltottnak kell tekintenie. Gyakori hiba, hogy a robots.txt címe HTML-oldalt ad vissza: ebben a crawlerek nem találnak érvényes szabályt.

Hogyan ellenőrizhetem egyszerre az összes AI-crawlert?

A fájl kézi olvasása lassúvá válik, amint egynél több crawler számít Önnek. Minden AI-cég több crawlert működtet, eltérő feladatokkal:

  • A tanító crawlerek tartalmat gyűjtenek a modellek tanításához: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, valamint a Google-Extended és az Applebot-Extended token, amelyek csak a robots.txt-ben jelennek meg.
  • A keresőcrawlerek indexelik az oldalakat, hogy az AI-válaszok hivatkozhassanak rájuk: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • A felhasználói crawlerek akkor kérnek le egy oldalt, amikor valaki erre kéri az asszisztenst: ChatGPT-User, Claude-User, Perplexity-User.

Az ingyenes MI-robot-ellenőrző bővítmény a Chrome-hoz ezt egy kattintással elvégzi. Nyisson meg bármilyen oldalt, kattintson az ikonra, és a bővítmény elolvassa a webhely robots.txt fájlját, majd mind a 16 crawlerre megmutatja, engedélyezett-e az oldal, és melyik sor dönt erről. Azt is megmutatja, milyen Content-Signal beállításai vannak a webhelynek, van-e llms.txt fájlja, és milyen sitemapek szerepelnek a robots.txt-ben. A böngészőjében fut, nem kell hozzá fiók, és csak azt a webhelyet olvassa, amelyen rákattint.

Chrome nélkül az aiseewhy.com ingyenes robots.txt-ellenőrzője ugyanezt a választ adja egy beillesztett URL-re.

Hogyan ellenőrizhetem, hogy a tűzfal átengedi-e őket?

A robots.txt azt mutatja, mit kér a webhely. Hogy lássa, mit kap valójában egy crawler, kérje le az oldalt kétszer, egyszer böngészőként, egyszer a crawler user agentjével, és hasonlítsa össze az állapotkódot és a válasz méretét:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ha a böngésző 200-at kap, a crawler pedig 403-at, 429-et vagy 503-at, esetleg sokkal kisebb oldalt, akkor egy tűzfal vagy a botvédelem másként kezeli a crawlert. Minden külső tesztnek van egy korlátja: az Ön hálózatából érkezik, nem az AI-cég hálózatából. Egy tűzfal, amely a crawlereket a közzétett IP-címük alapján tekinti megbízhatónak, a valódi crawlert másként kezelheti, ezért a végső szót a szervernaplói mondják ki.

Az aiseewhy.com teljes ellenőrzése mind a 16 crawler nevében lekéri az oldalt egy valódi böngésző mellett, megnevezi a crawlert blokkoló tűzfalat vagy szabályt, és összeveti a szöveget, amelyet mindegyik kapott.

Milyen eredményre érdemes törekedni?

Ez attól függ, mit szeretne. Ha azt szeretné, hogy a ChatGPT keresése, a Claude és a Perplexity idézze, a kereső- és a felhasználói crawlereket engedélyeznie kell a robots.txt-ben, és a szervertől a valódi oldalt kell kapniuk. Ha nem szeretné, hogy a tartalmát tanításra használják, csak a tanítótokeneket blokkolja. Ezek külön döntések: a GPTBot blokkolása nem blokkolja az OAI-SearchBot-ot, a ClaudeBot blokkolása pedig nem blokkolja a Claude-SearchBot-ot.

Sok webhely összekeveri őket. A 2026. novemberi jelentésünkben az 1000 legnépszerűbb domainről azon webhelyek 63%-a, amelyek blokkolnak egy tanító crawlert, legalább egy AI-keresőcrawlert vagy felhasználói crawlert is blokkol, így az oldalaik kimaradnak ezekből az AI-válaszokból.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Források

További cikkek

Megjelent