Čtyři z deseti firemních webů odmítají AI crawlery

Publikováno

Stručná odpověď

V našich auditech 165 firemních webů v USA, Velké Británii a Francii 38 % odmítlo na úrovni serveru alespoň jeden AI crawler, téměř vždy trénovacího nebo scraperovacího bota. Zhruba každý desátý web odmítl i AI vyhledávací crawler, například PerplexityBot nebo OAI-SearchBot, tedy crawlery, které mohou vést k citaci. Svůj web ověříte jedním požadavkem na každý crawler.

Zeptáte se ChatGPT na vlastní produkt a on jmenuje konkurenta, srovnávací web a vlákno na fóru. Někdy je to otázka obsahu. Často však firewall odpovídá AI crawlerům odmítnutím a nikdo z vašeho týmu si toho nevšiml, protože web v prohlížeči funguje.

Na této stránce
  1. Co jsme testovali?
  2. Co jsme zjistili?
  3. Proč k tomu dochází a kdy jde o záměr?
  4. Daří se největším webům lépe?
  5. Jak za deset minut zkontrolovat vlastní web?
  6. Jak spolehlivá jsou tato čísla?

Co jsme testovali?

Stejnou stránku stahujeme opakovaně ze stejné adresy: jednou jako běžný prohlížeč a pak postupně jako 14 AI a vyhledávacích crawlerů, mezi nimi GPTBot, OAI-SearchBot a ChatGPT-User od OpenAI, ClaudeBot a Claude-SearchBot od Anthropic a PerplexityBot od Perplexity. Pokud prohlížeč stránku dostane a crawler dostane 401, 403, 406, 429, 451, 503 nebo ověřovací stránku, web tento crawler odmítá.

Vzorek tvoří 218 firemních webů v USA, Velké Británii a Francii, auditovaných od 18. do 21. listopadu 2026. Úplný test jsme mohli provést u 165 z nich. Zbylých 53 odmítlo i náš běžný požadavek z prohlížeče nebo neodpovědělo, proto jsme je vynechali, místo abychom hádali.

Co jsme zjistili?

Proč k tomu dochází a kdy jde o záměr?

Velká část je pravděpodobně záměrná. Mnoho majitelů nechce, aby byl jejich obsah použit k trénování modelů, a nastavení ochrany proti botům, které blokuje scrapery, se zapíná snadno. To je legitimní rozhodnutí.

Potíž je v tom, že AI společnosti provozují samostatné crawlery pro trénování a pro vyhledávání. Zablokování trénovacího crawleru nevyžaduje zablokování vyhledávacího a právě vyhledávací crawler může vést k tomu, že bude vaše stránka v odpovědi citována.

Daří se největším webům lépe?

Ne tak docela. V naší zprávě o robots.txt u 1 000 nejnavštěvovanějších domén blokuje 29,9 % webů s robots.txt alespoň jeden AI trénovací crawler a 63,2 % z nich blokuje také alespoň jeden AI vyhledávací nebo uživatelský crawler. Jen 11,0 % blokuje trénování a zároveň povoluje všechny AI vyhledávací crawlery, což je nastavení, které většina z nich pravděpodobně chtěla.

Jak za deset minut zkontrolovat vlastní web?

  1. Otevřete yoursite.com/robots.txt. U každého AI crawleru, na kterém vám záleží, zjistěte, zda ho nějaká skupina jmenuje a co v ní stojí. Skupina, která crawler jmenuje, zcela nahrazuje obecnou skupinu *.
  2. Testujte, co dělá server, ne co říká soubor. Stáhněte důležitou stránku jako prohlížeč a jako crawler. Odpověď 403, 429, stránka s titulkem Just a moment... nebo odpověď mnohem menší než ta pro prohlížeč je typický znak blokace firewallem.
  3. Zeptejte se asistenta. Se zapnutým vyhledáváním položte ChatGPT nebo Perplexity otázky, které kladou vaši zákazníci, a podívejte se, které weby cituje. Pokud je přístup v pořádku a přesto chybíte, problém je v obsahu, ne v přístupu.

Jak spolehlivá jsou tato čísla?

Berte je jako vzorec, ne jako sčítání. Vzorek není náhodný: jde o firmy nalezené přes knihovny reklam, pracovní portály a mapové záznamy. Testujeme podle user agenta z jedné adresy, zatímco skuteční crawlery chodí z adres, které zveřejňují jejich provozovatelé, takže některé firewally by se k těm skutečným chovaly jinak. A blokace není vždy chyba.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Jaký podíl webů blokuje AI crawlery?

V našem auditu 165 testovatelných firemních webů 38 % odmítlo na úrovni serveru alespoň jeden AI crawler, většinou trénovací a scraperovací boty. Zhruba 10 % odmítlo i AI vyhledávací crawler.

Vyřadí zablokování GPTBot můj web z vyhledávání ChatGPT?

Ne. OpenAI uvádí, že každé nastavení robots.txt pro jeho crawlery je nezávislé: GPTBot se týká trénování, OAI-SearchBot vyhledávání v ChatGPT. Zablokování jednoho neblokuje druhý.

Jak může web zablokovat crawler bez robots.txt?

Pravidlo firewallu, CDN nebo ochrany proti botům může crawleru odpovědět kódem 403, 429 nebo ověřovací stránkou. V robots.txt to nikdy není vidět, proto je nutné to otestovat stažením stránky jako crawler.

Je odmítnutí crawleru vždy chyba?

Ne. Mnoho majitelů chce trénovací crawlery a scrapery držet venku. Chybou je omylem blokovat vyhledávací crawlery, protože právě ty mohou citovat vaši stránku.

Zdroje

Další články