Jak zjistit, zda web blokuje AI crawlery

Vložte libovolnou adresu a zjistěte, zda blokuje GPTBot, ClaudeBot, PerplexityBot a další AI crawlery: v robots.txt, ve firewallu, nebo v obojím.

Zdarma · Bez registrace · Výsledek za 30 sekund

Které crawlery jsou blokované

Crawlery pro trénování, vyhledávání a uživatele se zobrazují zvlášť, protože zablokování GPTBot neblokuje OAI-SearchBot a zablokování ClaudeBot neblokuje Claude-SearchBot.

Řádek, který rozhoduje

U každého crawleru se robots.txt čte podle pravidel RFC 9309: skupina, která ho jmenuje, nebo jako záloha User-agent: *, a pravidlo, které zvítězí.

Odmítnutí firewallem

Stránka se vyžádá jako 14 crawlerů a jako běžný prohlížeč. Blokace a ověřovací stránky se označí a firewall, který odpověděl, se pojmenuje.

Oprava ke každému nálezu

Ke každému nálezu patří změna, kterou je třeba udělat. Bezplatná kontrola ukáže vaše skóre a první nález; úplná zpráva stojí $29, jednorázově.

Stručná odpověď

Web může AI crawlery blokovat na dvou místech: v robots.txt, který crawlery žádá, aby nechodily dál, a na serveru nebo ve firewallu, který je skutečně odmítne. V robots.txt vyhledejte token každého crawleru, a pokud tam není, User-agent: *, pak stránku stáhněte jako crawler a porovnejte ji s tím, co dostane prohlížeč. Rozšíření prohlížeče udělá část s robots.txt pro 16 AI crawlerů jedním kliknutím.

Ruční kontrola ve 3 krocích

  1. Vyberte crawler

    Každá AI firma provozuje několik různých. Trénování: GPTBot, ClaudeBot. Vyhledávání: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Na žádost člověka: ChatGPT-User, Claude-User, Perplexity-User.

  2. Přečtěte si pro něj robots.txt

    Otevřete https://example.com/robots.txt a najděte skupinu, která crawler jmenuje. Pokud ho nejmenuje žádná, platí skupina User-agent: *; pokud není ani ta, je povoleno všechno.

  3. Stáhněte stránku jako crawler

    Vyžádejte si stránku s user agentem crawleru a porovnejte stavový kód a velikost s odpovědí pro prohlížeč. Kód 403, ověřovací stránka nebo mnohem menší odpověď 200 znamená, že ho firewall odmítá.

Časté dotazy

Je web bez robots.txt pro AI crawlery otevřený?

Ano, pokud jde o robots.txt. Kód 404 pro robots.txt znamená, že neexistují žádná pravidla, takže každý crawler smí stáhnout každou stránku. Firewall ale crawlery zablokovat může.

Ukazuje rozšíření blokování firewallem?

Ne. Čte robots.txt z vašeho prohlížeče, což ukazuje, o co web crawlery žádá. Blokování firewallem a ochranou proti botům se pozná jen z požadavku odeslaného jako crawler, a to dělá úplná kontrola na aiseewhy.com.

Můžu zkontrolovat web, který není můj?

Ano. robots.txt je veřejný a rozšíření čte jen soubory robots.txt a llms.txt, které web zveřejňuje, tedy tytéž soubory, které čte každý crawler.

Přečtěte si celého průvodce

Ať kontrolujete vlastní web po nějaké změně, nebo se díváte na cizí web, než se na něj spolehnete, otázka „blokuje tento web AI crawlery?“ má přesnou odpověď. Záleží na tom, který crawler máte na mysli, protože AI firmy provozují samostatné crawlery pro trénování, pro vyhledávání a pro živé návštěvy a web může s každým zacházet jinak. Tento návod ukazuje tři kontroly, od nejrychlejší po nejúplnější.

Kde může web blokovat AI crawlery?

Existují tři vrstvy a crawler musí projít všemi, aby mohl stránku použít.

  • robots.txt: veřejný soubor s pravidly, který si slušně se chovající crawlery přečtou dřív, než cokoli stáhnou. Je to žádost, ne zámek.
  • Server, CDN nebo firewall: tady se rozhoduje, co se skutečně pošle zpět. Pravidlo ochrany proti botům může crawleru odpovědět kódem 403, 429 nebo ověřovací stránkou, i když ho robots.txt povoluje.
  • Samotná stránka: pokud se hlavní text objeví až po spuštění JavaScriptu, crawler, který čte úvodní HTML, dostane téměř prázdnou stránku, přestože ho nic nezablokovalo.

Většina rychlých kontrol se dívá jen na první vrstvu. To je dobrý začátek, pokud nezapomenete na zbylé dvě.

Jak přečíst robots.txt pro jeden AI crawler?

Otevřete v prohlížeči https://example.com/robots.txt a najděte skupinu, která se na crawler vztahuje. Skupina začíná jedním nebo více řádky User-agent. Crawler použije skupinu, která jmenuje jeho token, například GPTBot; při porovnávání se nerozlišuje velikost písmen. Pokud ho žádná skupina nejmenuje, použije skupinu User-agent: *. Pokud není ani jedna, je povoleno vše.

Uvnitř skupiny vyhrává pravidlo s nejdelší odpovídající cestou, a když jsou Allow a Disallow stejně dlouhé, vyhrává Allow. Níže uvedený soubor tedy blokuje GPTBot na celém webu, ale všechny ostatní crawlery pouští dovnitř:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Všimněte si také, jak soubor odpovídá. Podle RFC 9309 znamená 404, že neexistují žádná pravidla, takže je povoleno vše. Chyba serveru (5xx) nebo žádná odpověď znamená, že crawler musí celý web považovat za zakázaný. Adresa robots.txt, která vrací HTML stránku, je častá chyba: crawlery v ní nenajdou žádná platná pravidla.

Jak zkontrolovat všechny AI crawlery najednou?

Ruční čtení souboru začne být zdlouhavé, jakmile vám záleží na více než jednom crawleru. Každá AI firma jich provozuje několik, s různými úkoly:

  • Trénovací crawlery sbírají obsah pro trénování modelů: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent a navíc tokeny Google-Extended a Applebot-Extended, které se objevují jen v robots.txt.
  • Vyhledávací crawlery indexují stránky, aby je AI odpovědi mohly citovat: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Uživatelské crawlery stahují stránku, když o to člověk asistenta požádá: ChatGPT-User, Claude-User, Perplexity-User.

Bezplatné rozšíření Kontrola AI crawlerů pro Chrome to udělá jedním kliknutím. Otevřete libovolnou stránku a klikněte na ikonu: rozšíření přečte robots.txt daného webu a pro každý ze 16 crawlerů ukáže, zda je stránka povolena a který řádek o tom rozhoduje. Ukáže také preference Content-Signal, zda má web soubor llms.txt, a soubory sitemap uvedené v robots.txt. Běží ve vašem prohlížeči, nepotřebuje účet a čte jen web, na kterém ho spustíte.

Bez Chrome dá stejnou odpověď pro vloženou adresu URL bezplatná kontrola robots.txt na aiseewhy.com.

Jak zjistit, zda je firewall pustí dál?

robots.txt ukazuje, o co web žádá. Abyste viděli, co crawler skutečně dostane, vyžádejte si stránku dvakrát, jednou jako prohlížeč a jednou s user agentem crawleru, a porovnejte stavový kód a velikost odpovědi:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Pokud prohlížeč dostane 200 a crawler 403, 429 nebo 503, případně mnohem menší stránku, firewall nebo ochrana proti botům s crawlerem zachází jinak. Pro každý test zvenčí platí jedno omezení: pochází z vaší sítě, ne ze sítě AI firmy. Firewall, který crawlerům důvěřuje podle jejich zveřejněných IP adres, může se skutečným crawlerem zacházet jinak, takže poslední slovo mají logy vašeho serveru.

Úplná kontrola na aiseewhy.com stáhne stránku jako každý ze 16 crawlerů vedle skutečného prohlížeče, pojmenuje firewall nebo pravidlo, které crawler blokuje, a porovná text, který každý z nich dostal.

O jaký výsledek usilovat?

Záleží na tom, co chcete. Pokud chcete být citováni ve vyhledávání ChatGPT, v Claude a v Perplexity, musí být vyhledávací a uživatelské crawlery v robots.txt povolené a ze serveru musí dostat skutečnou stránku. Pokud nechcete, aby se váš obsah používal k trénování, blokujte jen trénovací tokeny. Jde o samostatná rozhodnutí: zablokování GPTBot neblokuje OAI-SearchBot a zablokování ClaudeBot neblokuje Claude-SearchBot.

Mnoho webů si je plete. V naší zprávě z listopadu 2026 o 1000 nejoblíbenějších doménách blokuje 63 % webů, které blokují trénovací crawler, také alespoň jeden AI crawler pro vyhledávání nebo uživatelský crawler, takže se jejich stránky do těchto AI odpovědí nedostanou.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Zdroje

Další články

Publikováno