Proč můj web najednou blokuje AI crawlery?

Publikováno

Stručná odpověď

Web, který začne blokovat AI crawlery, se téměř vždy změnil na jednom z pěti míst: ve skutečně servírovaném robots.txt, v nastavení CDN, jako jsou zásady pro AI crawlery v Cloudflare, v ochraně proti botům nebo omezení počtu požadavků, ve výchozím nastavení hostingu, nebo v robots.txt, který teď odpovídá chybou. Stáhněte dnešní robots.txt a stránku jako každý crawler, porovnejte je s prohlížečem a s tím, co jste měli dřív, a tyto vrstvy kontrolujte v tomto pořadí.

Nikdo se nerozhodne zmizet z odpovědí AI. Stane se to jako vedlejší účinek aktualizace šablony, bezpečnostního nastavení, migrace nebo změněného výchozího nastavení u poskytovatele. Prohlížeč web dál vidí normálně, takže změna může zůstat bez povšimnutí, dokud se někdo nezeptá ChatGPT nebo Perplexity na produkt a nedostane konkurenta. Každá vrstva zanechává stopy, které můžete ověřit zvenku nebo v logech.

Na této stránce
  1. Změnil se robots.txt, který crawlery dostávají?
  2. Změnily zásady Cloudflare pro AI crawlery z roku 2026, co můj web povoluje?
  3. Zachytává crawlery ochrana proti botům nebo omezení počtu požadavků?
  4. Změnil můj hosting výchozí nastavení?
  5. Odpovídá robots.txt chybou?
  6. Jak zjistím, kdy to začalo?
  7. Jak to příště zachytím dřív?

Změnil se robots.txt, který crawlery dostávají?

Stáhněte https://yourdomain.com/robots.txt a porovnejte ho se souborem ve svém repozitáři nebo záloze. Dívejte se na servírovaný soubor, ne na ten na disku, protože ho cestou může změnit několik vrstev:

Přehled robots.txt v Google Search Console ukazuje verze, které Google stáhl za posledních 30 dní, s novým záznamem pokaždé, když se změnil soubor nebo výsledek stažení. Pokrývá jen to, co viděl Google, ale pokud váš server nemění robots.txt podle user agenta, dostaly AI crawlery stejný soubor.

Změnily zásady Cloudflare pro AI crawlery z roku 2026, co můj web povoluje?

Cloudflare ovládání AI crawlerů několikrát změnil a některé změny upraví chování zóny, aniž by ji kdokoli editoval. 1. července 2025 se začal nových domén při registraci ptát, zda AI crawlery povolit, s blokováním jako výchozím stavem. 1. července 2026 nahradil jediný přepínač Block AI bots samostatnými zásadami Search, Agent a Training, pro všechny plány včetně Free.

Detail, na kterém se zasekne většina webů, jsou crawlery s více účely. Dokumentace Cloudflare uvádí, že akce Training platí i pro crawlery používané jak pro vyhledávání, tak pro trénování. Jeho oznámení z července 2026 uvedlo, že od 15. září 2026 budou víceúčelové crawlery jako Googlebot, Applebot a BingBot blokovány zákazníkům, kteří se rozhodli blokovat Training, ať přes nové volby, nebo přes starší nastavení Block AI bots. Odmítnutí trénování nastavené před rokem tak teď může zasáhnout vyhledávací crawlery.

Výchozí nastavení pro nové domény se v průběhu času popisovalo různě. Stejné oznámení uvádělo, že nové domény budou mít od 15. září 2026 Training a Agent blokované na stránkách, které zobrazují reklamy, zatímco dokumentace zásad aktualizovaná 2. listopadu 2026 uvádí, že nové domény začínají se všemi třemi na Allow. Otevřete Security, pak Settings, filtrujte podle Bot traffic a přečtěte si AI Crawler and Agent access policies své zóny. Každé nastavení vysvětluje náš návod k Cloudflare AI Crawl Control.

Zachytává crawlery ochrana proti botům nebo omezení počtu požadavků?

Ochrana proti botům posuzuje každý požadavek a crawlery stahují mnoho stránek rychle z datových center, což je přesně to, co dělají boti. Crawler, který minulý měsíc prošel, může začít dostávat ověřovací stránky poté, co jeho provozovatel změní rozsahy IP nebo rychlost procházení, nebo poté, co se aktualizují pravidla ochrany. Častou příčinou je Bot Fight Mode od Cloudflare a podle Cloudflare ho nelze obejít ani přeskočit vlastními pravidly WAF ani Page Rules, takže později přidané povolující pravidlo nepomůže, dokud je zapnutý. Nové omezení počtu požadavků, které na nárazy odpovídá 429, má na vytížený crawler stejný účinek.

Testujte zvenku: stáhněte stránku jako prohlížeč a jako dva vyhledávací AI crawlery, pak stáhněte robots.txt jako crawler.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Kód 403, 429 nebo 503 jen pro crawler, stránka s názvem Just a moment... nebo tělo odpovědi mnohem menší než u prohlížeče znamená, že s crawlerem se zachází jinak. Test přichází z vaší IP, ne z IP dodavatele, takže pravidla založená na stavu ověřeného bota mohou se skutečným crawlerem stále zacházet jinak. Které pravidlo odpovědělo, ukáže protokol událostí firewallu.

Změnil můj hosting výchozí nastavení?

Někteří poskytovatelé hostingu filtrují provoz z AI na serveru dřív, než se uplatní vaše vlastní pravidla. SiteGround například v srpnu 2025 napsal, že ve výchozím stavu blokuje AI crawlery určené ke sběru tréninkových dat a povoluje crawlery, které přicházejí, když se člověk zeptá AI asistenta na stránku. Taková pravidla se ve vašem robots.txt neobjeví a mohou se změnit, když hosting aktualizuje své seznamy botů.

Pokud se blokace objeví najednou na několika webech u stejného hostingu, nebo v odpovědích, které se nikdy nedostanou do logů vaší aplikace, zeptejte se poskytovatele, jaká pravidla pro boty platí pro váš účet a zda můžete vyjmout crawlery, které si chcete ponechat.

Odpovídá robots.txt chybou?

Robots.txt, který selže, může zablokovat víc než jakýkoli řádek Disallow. Podle RFC 9309 znamená odpověď 4xx, že crawler smí stáhnout cokoli, ale chyba serveru (5xx) nebo žádná odpověď znamená, že musí celý web považovat za zakázaný. Google během prvních 12 hodin takových chyb procházení zastaví a pak až 30 dní používá poslední platnou kopii.

Takto může špička zátěže, pravidlo firewallu, které na /robots.txt odpovídá ověřovací stránkou, nebo omezení počtu požadavků, které ho zahrnuje, odříznout slušné crawlery, aniž by se změnilo jediné pravidlo. Poslední příkaz v testu výše by měl vrátit 200 a text/plain. Kód 5xx, vypršení časového limitu nebo ověřovací stránka na tomto místě je první věc, kterou je třeba opravit.

Jak zjistím, kdy to začalo?

Datum promění záhadu ve srovnání. V přístupových logech vyfiltrujte požadavky s user agenty AI crawlerů a najděte den, kdy se jejich stavové kódy změnily z 200 na 403, 429 nebo 503, nebo den, kdy po přečtení robots.txt přestaly stahovat stránky; příkazy najdete v našem návodu ke kontrole logů serveru na AI crawlery. Požadavky, které zablokovalo CDN, se k původnímu serveru nikdy nedostanou, takže zkontrolujte i CDN. V Cloudflare ukazuje AI Crawl Control rozložení stavových kódů v čase, které můžete filtrovat podle crawleru.

Pak to datum porovnejte s nasazeními, aktualizacemi pluginů a šablon, změnami nastavení CDN a oznámeními poskytovatelů. Než začnete jednat, ověřte, že zdrojové IP patří dodavateli, abyste se dívali na skutečný crawler, a ne na podvodníka, který používá jeho jméno.

Jak to příště zachytím dřív?

Přístup kontrolujte po každém nasazení, změně CDN a aktualizaci pluginu, ne až když klesne návštěvnost. Bezplatná kontrola AISeeWhy stáhne stránku jako 16 AI a vyhledávacích crawlerů vedle skutečného prohlížeče, pro každý crawler použije váš robots.txt a rozpozná ověřovací stránky firewallu. Bezplatná kontrola robots.txt ukáže pro každý crawler, zda smí stránku stáhnout podle souboru, který je dnes živý.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Proč ChatGPT přestal zobrazovat můj web?

Často proto, že OAI-SearchBot, crawler, na kterém stojí vyhledávání v ChatGPT, se stal blokovaným kvůli změně v robots.txt, zásadě CDN nebo ochraně proti botům. OpenAI uvádí, že weby, které ho blokují, se v odpovědích vyhledávání ChatGPT neobjeví. Zkontrolujte pro tento crawler každou vrstvu a po opravě robots.txt počítejte asi s 24 hodinami, za které se podle OpenAI jeho systémy přizpůsobí.

Začal Cloudflare na mém webu blokovat Googlebot?

Může se to stát. Cloudflare uvedl, že od 15. září 2026 zákazníci, kteří blokují Training, blokují i víceúčelové crawlery jako Googlebot, Applebot a BingBot. Jeho dokumentace uvádí, že volba Training Disallow blokuje tréninkové crawlery na okraji sítě, ale crawlery se smíšeným použitím vynechává, takže ověřte, kterou volbu vaše zóna používá.

Může nástroj pro tvorbu webů nebo plugin změnit robots.txt za mě?

Ano. Nástroje pro tvorbu webů a SEO nebo bezpečnostní pluginy mohou do robots.txt zapisovat pravidla pro AI crawlery a některé své seznamy botů časem rozšiřují. Po každé aktualizaci stáhněte živý soubor a přečtěte skupiny, které platí pro vyhledávací crawlery, na kterých vám záleží.

Proč se můj živý robots.txt liší od souboru na serveru?

Mění ho něco před vaším serverem. Spravovaný robots.txt od Cloudflare například ve stejné odpovědi předřadí vašemu souboru vlastní pravidla a content signals. Nahradit nebo rozšířit ho může i CMS, který robots.txt generuje na požádání, nebo nastavení na úrovni hostingu.

Za jak dlouho se AI crawlery po opravě vrátí?

RFC 9309 uvádí, že crawlery by neměly používat robots.txt z mezipaměti déle než 24 hodin, OpenAI uvádí asi 24 hodin a Perplexity až 24 hodin. Změny ve firewallu platí, jakmile je poskytovatel nasadí, ale crawlery se vracejí podle vlastního rozvrhu.

Zdroje

Další články