Prečo môj web zrazu blokuje AI crawlery?

Publikované

Krátka odpoveď

Web, ktorý začne blokovať AI crawlery, sa takmer vždy zmenil na jednom z piatich miest: v robots.txt, ktorý sa naozaj odosiela, v nastavení CDN, ako sú AI politiky Cloudflare pre crawlery, v ochrane proti botom alebo limite požiadaviek, v predvolenom nastavení hostingu alebo v robots.txt, ktorý teraz odpovedá chybou. Stiahnite dnešný robots.txt a stránku ako každý crawler, porovnajte ich s prehliadačom a s tým, čo ste mali predtým, a tieto vrstvy kontrolujte v tomto poradí.

Nikto sa nerozhodne zmiznúť z odpovedí AI. Stane sa to ako vedľajší účinok aktualizácie témy, bezpečnostného nastavenia, migrácie alebo zmeneného predvoleného nastavenia u poskytovateľa. Prehliadač stále vidí web normálne, takže zmena môže zostať nepovšimnutá, kým sa niekto nespýta ChatGPT alebo Perplexity na produkt a nedostane konkurenciu. Každá vrstva zanecháva stopy, ktoré môžete skontrolovať zvonku alebo vo svojich logoch.

Na tejto stránke
  1. Zmenil sa robots.txt, ktorý crawlery dostávajú?
  2. Zmenili AI politiky Cloudflare z roku 2026, čo môj web povoľuje?
  3. Zachytáva crawlery ochrana proti botom alebo limit požiadaviek?
  4. Zmenil môj poskytovateľ hostingu predvolené nastavenia?
  5. Odpovedá robots.txt chybou?
  6. Ako zistím, kedy to začalo?
  7. Ako to nabudúce zachytiť skôr?

Zmenil sa robots.txt, ktorý crawlery dostávajú?

Stiahnite https://yourdomain.com/robots.txt a porovnajte ho so súborom vo vašom repozitári alebo zálohe. Pozerajte sa na odosielaný súbor, nie na ten na disku, pretože ho po ceste môže zmeniť niekoľko vrstiev:

Prehľad robots.txt v Google Search Console ukazuje verzie, ktoré Google stiahol za posledných 30 dní, s novým záznamom vždy, keď sa zmenil súbor alebo výsledok sťahovania. Pokrýva len to, čo videl Google, ale ak váš server nemení robots.txt podľa user agenta, AI crawlery dostali ten istý súbor.

Zmenili AI politiky Cloudflare z roku 2026, čo môj web povoľuje?

Cloudflare svoje ovládanie AI crawlerov zmenil niekoľkokrát a niektoré zmeny menia správanie zóny bez toho, aby ju niekto upravil. 1. júla 2025 sa začal pri registrácii nových domén pýtať, či povoliť AI crawlery, s blokovaním ako východiskovým stavom. 1. júla 2026 nahradil jediný prepínač Block AI bots samostatnými politikami Search, Agent a Training pre všetky plány vrátane Free.

Detail, na ktorý doplatí najviac webov, sú crawlery s viacerými účelmi. Dokumentácia Cloudflare uvádza, že akcie pre Training platia aj pre crawlery používané na vyhľadávanie aj trénovanie. Jeho oznámenie z júla 2026 uvádzalo, že od 15. septembra 2026 budú viacúčelové crawlery ako Googlebot, Applebot a BingBot blokované pre zákazníkov, ktorí sa rozhodli blokovať Training, či už cez nové možnosti, alebo cez staré nastavenie Block AI bots. Odmietnutie trénovania nastavené pred rokom tak teraz môže zasiahnuť aj vyhľadávacie crawlery.

Predvolené nastavenia pre nové domény sa v priebehu času opisovali rôzne. To isté oznámenie uvádzalo, že nové domény budú mať od 15. septembra 2026 zablokované Training a Agent na stránkach so zobrazenými reklamami, kým dokumentácia politík aktualizovaná 2. novembra 2026 uvádza, že nové domény začínajú so všetkými tromi na Allow. Otvorte Security, potom Settings, vyfiltrujte Bot traffic a pre svoju zónu si prečítajte AI Crawler and Agent access policies. Každé nastavenie vysvetľuje náš návod k Cloudflare AI Crawl Control.

Zachytáva crawlery ochrana proti botom alebo limit požiadaviek?

Ochrana proti botom posudzuje každú požiadavku a crawlery sťahujú veľa stránok rýchlo z dátových centier, čo je presne to, čo boty robia. Crawler, ktorý minulý mesiac prešiel, môže začať dostávať overovacie stránky, keď jeho prevádzkovateľ zmení rozsahy IP alebo rýchlosť prehľadávania, alebo keď sa aktualizujú pravidlá ochrany. Častou príčinou je Bot Fight Mode od Cloudflare a Cloudflare uvádza, že ho nemožno obísť ani preskočiť vlastnými pravidlami WAF ani Page Rules, takže neskôr pridané povoľovacie pravidlo nepomôže, kým je zapnutý. Nový limit požiadaviek, ktorý na nárazy odpovedá kódom 429, má na vyťažený crawler rovnaký účinok.

Otestujte to zvonku: vyžiadajte stránku ako prehliadač a ako dva AI vyhľadávacie crawlery a potom vyžiadajte robots.txt ako crawler.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Kód 403, 429 alebo 503 len pre crawler, stránka s názvom Just a moment... alebo telo oveľa menšie ako pre prehliadač znamenajú, že s crawlerom sa zaobchádza inak. Test prichádza z vašej IP, nie z IP dodávateľa, takže pravidlá založené na stave overeného bota môžu so skutočným crawlerom zaobchádzať stále inak. Ktoré pravidlo odpovedalo, ukáže protokol udalostí firewallu.

Zmenil môj poskytovateľ hostingu predvolené nastavenia?

Niektorí poskytovatelia hostingu filtrujú AI prevádzku na serveri ešte predtým, ako sa spustia vaše vlastné pravidlá. SiteGround napríklad v auguste 2025 napísal, že predvolene blokuje AI crawlery určené na zber trénovacích dát a púšťa crawlery, ktoré prídu, keď sa človek spýta AI asistenta na stránku. Takéto pravidlá sa vo vašom robots.txt neukážu a môžu sa zmeniť, keď poskytovateľ aktualizuje svoje zoznamy botov.

Ak sa blok objaví naraz na viacerých weboch u toho istého poskytovateľa alebo v odpovediach, ktoré sa nikdy nedostanú do logov vašej aplikácie, spýtajte sa poskytovateľa, ktoré pravidlá pre boty platia pre váš účet a či môžete vyňať crawlery, ktoré chcete ponechať.

Odpovedá robots.txt chybou?

Robots.txt, ktorý zlyháva, môže blokovať viac ako ktorýkoľvek riadok Disallow. Podľa RFC 9309 odpoveď 4xx znamená, že crawler smie sťahovať všetko, ale chyba servera (5xx) alebo žiadna odpoveď znamená, že musí predpokladať, že celý web je zakázaný. Google pri takých chybách prvých 12 hodín prestane prehľadávať a potom až 30 dní používa poslednú dobrú kópiu.

Takto môže nárast záťaže, pravidlo firewallu, ktoré overuje /robots.txt, alebo limit požiadaviek, ktorý ho zahŕňa, vylúčiť slušné crawlery bez zmeny jediného pravidla. Posledný príkaz v teste vyššie by mal vrátiť 200 a text/plain. 5xx, vypršanie časového limitu alebo overovacia stránka sú prvé, čo treba opraviť.

Ako zistím, kedy to začalo?

Dátum mení záhadu na porovnanie. V prístupových logoch vyfiltrujte požiadavky od user agentov AI crawlerov a hľadajte deň, keď sa ich stavové kódy zmenili z 200 na 403, 429 alebo 503, alebo deň, keď po prečítaní robots.txt prestali žiadať stránky; príkazy nájdete v našom návode na hľadanie AI crawlerov v logoch servera. Požiadavky, ktoré zablokovalo vaše CDN, sa nikdy nedostanú na pôvodný server, preto skontrolujte aj CDN. V Cloudflare ukazuje AI Crawl Control rozdelenie stavových kódov v čase, ktoré môžete filtrovať podľa crawlera.

Potom tento dátum porovnajte s nasadeniami, aktualizáciami pluginov a tém, zmenami nastavení CDN a oznámeniami poskytovateľov. Pred akýmkoľvek zásahom overte, že zdrojové IP patria dodávateľovi, aby ste sa pozerali na skutočný crawler, a nie na podvodníka, ktorý používa jeho názov.

Ako to nabudúce zachytiť skôr?

Kontrolujte prístup po každom nasadení, zmene CDN a aktualizácii pluginu, nielen keď klesne návštevnosť. Bezplatná kontrola AISeeWhy vyžiada stránku ako 16 AI a vyhľadávacích crawlerov vedľa skutočného prehliadača, pre každý crawler uplatní váš robots.txt a rozpozná overovacie stránky firewallu. Bezplatný robots.txt tester ukáže pre každý crawler, či sa stránka smie stiahnuť podľa súboru, ktorý platí dnes.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Prečo ChatGPT prestal zobrazovať môj web?

Často preto, že OAI-SearchBot, crawler za vyhľadávaním v ChatGPT, sa ocitol zablokovaný zmenou robots.txt, politikou CDN alebo ochranou proti botom. OpenAI uvádza, že weby, ktoré ho blokujú, sa v odpovediach vyhľadávania ChatGPT nezobrazia. Skontrolujte každú vrstvu pre tento crawler a po oprave robots.txt počkajte asi 24 hodín, čo je podľa OpenAI čas, ktorý jeho systémy potrebujú na prispôsobenie.

Začal Cloudflare na mojom webe blokovať Googlebot?

Môže sa to stať. Cloudflare uviedol, že od 15. septembra 2026 zákazníci, ktorí blokujú Training, blokujú aj viacúčelové crawlery ako Googlebot, Applebot a BingBot. Jeho dokumentácia uvádza, že možnosť Training Disallow blokuje trénovacie crawlery na okraji siete, ale crawlery so zmiešaným použitím vynecháva, preto skontrolujte, ktorú možnosť vaša zóna používa.

Môže nástroj na tvorbu webov alebo plugin zmeniť robots.txt za mňa?

Áno. Nástroje na tvorbu webov a SEO alebo bezpečnostné pluginy môžu do robots.txt zapisovať pravidlá pre AI crawlery a niektoré svoje zoznamy botov časom rozširujú. Po každej aktualizácii stiahnite živý súbor a prečítajte skupiny, ktoré platia pre vyhľadávacie crawlery, na ktorých vám záleží.

Prečo sa môj živý robots.txt líši od súboru na serveri?

Mení ho niečo pred vaším serverom. Spravovaný robots.txt od Cloudflare napríklad v tej istej odpovedi vkladá pred váš súbor vlastné pravidlá a content signals. Nahradiť alebo rozšíriť ho môže aj CMS, ktorý robots.txt generuje na požiadanie, alebo nastavenie na úrovni hostingu.

Ako dlho trvá, kým sa AI crawlery po oprave vrátia?

RFC 9309 hovorí, že crawlery by nemali používať robots.txt z cache dlhšie ako 24 hodín, OpenAI uvádza asi 24 hodín a Perplexity až 24 hodín. Zmeny firewallu platia hneď, ako ich poskytovateľ nasadí, ale crawlery sa vracajú podľa vlastného plánu.

Zdroje

Ďalšie články