Čtyři z deseti firemních webů odmítají AI crawlery
V našich auditech 165 firemních webů v USA, Velké Británii a Francii 38 % odmítlo na úrovni serveru alespoň jeden AI crawler, téměř vždy trénovacího nebo scraperovacího bota. Zhruba každý desátý web odmítl i AI vyhledávací crawler, například PerplexityBot nebo OAI-SearchBot, tedy crawlery, které mohou vést k citaci. Svůj web ověříte jedním požadavkem na každý crawler.
Zeptáte se ChatGPT na vlastní produkt a on jmenuje konkurenta, srovnávací web a vlákno na fóru. Někdy je to otázka obsahu. Často však firewall odpovídá AI crawlerům odmítnutím a nikdo z vašeho týmu si toho nevšiml, protože web v prohlížeči funguje.
Na této stránce
Co jsme testovali?
Stejnou stránku stahujeme opakovaně ze stejné adresy: jednou jako běžný prohlížeč a pak postupně jako 14 AI a vyhledávacích crawlerů, mezi nimi GPTBot, OAI-SearchBot a ChatGPT-User od OpenAI, ClaudeBot a Claude-SearchBot od Anthropic a PerplexityBot od Perplexity. Pokud prohlížeč stránku dostane a crawler dostane 401, 403, 406, 429, 451, 503 nebo ověřovací stránku, web tento crawler odmítá.
Vzorek tvoří 218 firemních webů v USA, Velké Británii a Francii, auditovaných od 18. do 21. listopadu 2026. Úplný test jsme mohli provést u 165 z nich. Zbylých 53 odmítlo i náš běžný požadavek z prohlížeče nebo neodpovědělo, proto jsme je vynechali, místo abychom hádali.
Co jsme zjistili?
- 38 % testovatelných webů (63 ze 165) odmítlo alespoň jeden AI crawler.
- Každý z těchto webů odmítl alespoň jeden trénovací nebo scraperovací crawler.
Bytespiderodmítlo 35 % všech webů,ClaudeBot13 % aGPTBot11 %. - 10 % webů (16) odmítlo také alespoň jeden AI vyhledávací crawler a 5 % (8) odmítlo crawler, který otevírá stránku živě, když se na ni asistenta zeptá člověk.
- Nejdůležitějšími odmítanými vyhledávacími crawlery byly
PerplexityBot(11 webů) aOAI-SearchBot(5 webů). - Cloudflare stál za 32 z 66 webů, které odmítly jakýkoli z testovaných crawlerů. U dalších 30 jsme nepoznali, který firewall odpověděl.
Proč k tomu dochází a kdy jde o záměr?
Velká část je pravděpodobně záměrná. Mnoho majitelů nechce, aby byl jejich obsah použit k trénování modelů, a nastavení ochrany proti botům, které blokuje scrapery, se zapíná snadno. To je legitimní rozhodnutí.
Potíž je v tom, že AI společnosti provozují samostatné crawlery pro trénování a pro vyhledávání. Zablokování trénovacího crawleru nevyžaduje zablokování vyhledávacího a právě vyhledávací crawler může vést k tomu, že bude vaše stránka v odpovědi citována.
Daří se největším webům lépe?
Ne tak docela. V naší zprávě o robots.txt u 1 000 nejnavštěvovanějších domén blokuje 29,9 % webů s robots.txt alespoň jeden AI trénovací crawler a 63,2 % z nich blokuje také alespoň jeden AI vyhledávací nebo uživatelský crawler. Jen 11,0 % blokuje trénování a zároveň povoluje všechny AI vyhledávací crawlery, což je nastavení, které většina z nich pravděpodobně chtěla.
Jak za deset minut zkontrolovat vlastní web?
- Otevřete
yoursite.com/robots.txt. U každého AI crawleru, na kterém vám záleží, zjistěte, zda ho nějaká skupina jmenuje a co v ní stojí. Skupina, která crawler jmenuje, zcela nahrazuje obecnou skupinu*. - Testujte, co dělá server, ne co říká soubor. Stáhněte důležitou stránku jako prohlížeč a jako crawler. Odpověď 403, 429, stránka s titulkem
Just a moment...nebo odpověď mnohem menší než ta pro prohlížeč je typický znak blokace firewallem. - Zeptejte se asistenta. Se zapnutým vyhledáváním položte ChatGPT nebo Perplexity otázky, které kladou vaši zákazníci, a podívejte se, které weby cituje. Pokud je přístup v pořádku a přesto chybíte, problém je v obsahu, ne v přístupu.
Jak spolehlivá jsou tato čísla?
Berte je jako vzorec, ne jako sčítání. Vzorek není náhodný: jde o firmy nalezené přes knihovny reklam, pracovní portály a mapové záznamy. Testujeme podle user agenta z jedné adresy, zatímco skuteční crawlery chodí z adres, které zveřejňují jejich provozovatelé, takže některé firewally by se k těm skutečným chovaly jinak. A blokace není vždy chyba.
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Jaký podíl webů blokuje AI crawlery?
V našem auditu 165 testovatelných firemních webů 38 % odmítlo na úrovni serveru alespoň jeden AI crawler, většinou trénovací a scraperovací boty. Zhruba 10 % odmítlo i AI vyhledávací crawler.
Vyřadí zablokování GPTBot můj web z vyhledávání ChatGPT?
Ne. OpenAI uvádí, že každé nastavení robots.txt pro jeho crawlery je nezávislé: GPTBot se týká trénování, OAI-SearchBot vyhledávání v ChatGPT. Zablokování jednoho neblokuje druhý.
Jak může web zablokovat crawler bez robots.txt?
Pravidlo firewallu, CDN nebo ochrany proti botům může crawleru odpovědět kódem 403, 429 nebo ověřovací stránkou. V robots.txt to nikdy není vidět, proto je nutné to otestovat stažením stránky jako crawler.
Je odmítnutí crawleru vždy chyba?
Ne. Mnoho majitelů chce trénovací crawlery a scrapery držet venku. Chybou je omylem blokovat vyhledávací crawlery, protože právě ty mohou citovat vaši stránku.
Zdroje
- AISeeWhy: Zpráva o přístupu AI crawlerů, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Přehled crawlerů OpenAI
- Perplexity: Crawlery Perplexity
- Cloudflare: Správa AI crawlerů (AI Crawl Control)