Blokuje Cloudflare AI crawlery? Ako to zistiť a opraviť

Zistite zhruba za 30 sekúnd, či Cloudflare alebo iný firewall odpovedá AI crawlerom blokovaním, a získajte pravidlo, ktoré pustí tie správne.

Zadarmo · Bez registrácie · Výsledok za 30 sekúnd

Kódy 403, 429 a overovacie stránky

Crawlery môžu dostať blokovanie alebo stránku Just a moment..., kým váš prehliadač dostane skutočnú stránku. Vaša stránka sa vyžiada oboma spôsobmi a rozdiel sa označí.

robots.txt a firewall

Keď robots.txt crawler povoľuje, ale server ho odmieta, správa ukáže konflikt, takže viete, ktoré nastavenie zmeniť.

Pomenovaný firewall

CDN alebo firewall, ktorý odpovedal, sa pomenuje, vrátane Cloudflare, takže nemusíte hádať, kde hľadať.

Pravidlo na použitie

Ku každému zisteniu patrí oprava, napríklad pravidlo Cloudflare alebo krok so zoznamom povolených. Bezplatná kontrola ukáže vaše skóre a prvé zistenie; úplná správa stojí $29, jednorazovo.

Krátka odpoveď

Cloudflare a iné firewally môžu AI crawlerom odpovedať kódom 403, 429 alebo overovacou stránkou „Just a moment...“, kým prehliadače dostanú skutočnú stránku, a to aj vtedy, keď robots.txt crawler povoľuje. Overte to stiahnutím stránky s user agentom crawlera a potom povoľte AI vyhľadávacie crawlery v AI Crawl Control alebo pravidlom WAF s akciou Skip.

Nájdite a opravte to v 3 krokoch

  1. Vyžiadajte stránku dvakrát

    Raz s user agentom prehliadača, raz s user agentom crawlera. Kód 403, 429 alebo 503 len pre crawler, stránka Just a moment... alebo oveľa kratšie 200 znamená blokovanie firewallom.

  2. Povoľte vyhľadávacie crawlery

    V Cloudflare otvorte AI Crawl Control, prejdite na zoznam Crawlers a v stĺpci Action nastavte Allow pre crawlery, ktoré chcete, napríklad OAI-SearchBot.

  3. V prípade potreby preskočte ostatné ochrany

    Ak ich stále blokuje vlastné pravidlo WAF, Super Bot Fight Mode alebo obmedzenie počtu požiadaviek, pridajte pravidlo, umiestnené ako prvé, ktoré tieto funkcie pre overené boty preskočí. Radšej použite pole overeného bota alebo zverejnené rozsahy IP poskytovateľa než zhodu podľa user agenta.

Časté otázky

Kde v Cloudflare uvidím, ktoré AI crawlery sú zablokované?

V paneli Cloudflare otvorte AI Crawl Control. Jeho zoznam crawlerov ukazuje každý AI crawler, ktorý Cloudflare na vašej doméne zaznamenal, koľko požiadaviek poslal a či má akciu Allow alebo Block, a akciu tam môžete zmeniť. Iné funkcie, napríklad Bot Fight Mode, môžu povolený crawler stále zablokovať, preto výsledok overte požiadavkou s user agentom crawlera.

Blokuje Cloudflare AI crawlery predvolene?

Závisí to od vášho účtu, plánu a nastavení vo vašej zóne a Cloudflare tieto možnosti časom menil. Skontrolujte AI Crawl Control a nastavenia botov a namiesto predpokladov otestujte stránku s user agentom crawlera.

Prečo môj web funguje v prehliadači, ale nie pre crawlery?

Firewally posudzujú každú požiadavku. Prehliadač overovacie výzvy v JavaScripte zvládne a uchováva cookies; crawler nie, takže môže dostať overovaciu stránku alebo 403, ktoré vy nikdy neuvidíte.

Je bezpečné pustiť AI crawlery cez WAF?

Povolenie konkrétneho crawlera je málo rizikové, ak ho overujete podľa rozsahov IP dodávateľa alebo signálu overeného bota od Cloudflare. Pravidlá, ktoré veria len user agentovi, pustia aj každého, kto ho skopíruje.

Ovplyvňuje funkcia obfuskácie e-mailov v Cloudflare AI crawlery?

Nahrádza e-mailové adresy odkazom, ktorý dekóduje len skript, takže crawlery namiesto adresy vidia zástupný text. Ak chcete, aby bol váš kontaktný e-mail čitateľný, vypnite Email Address Obfuscation v Scrape Shield a adresu zobrazte ako obyčajný text.

Prečítajte si celého sprievodcu

Ochrana proti botom existuje na zastavenie scraperov a zneužívania a robí to dobre. Problém je, že aj AI vyhľadávacie crawlery sú boty. Bezpečnostné nastavenie zapnuté pred rokmi, obmedzenie rýchlosti alebo široké pravidlo proti neznámym user agentom môžu potichu zastaviť práve crawlery, ktoré vás citujú, kým vaše vlastné návštevy vyzerajú úplne normálne.

Prečo by firewall blokoval AI crawlery?

Firewally posudzujú každú požiadavku. Crawler nespúšťa overovacie výzvy v JavaScripte, neuchováva cookies ako prehliadač a často žiada veľa stránok za sebou, takže môže vyzerať presne ako prevádzka, na ktorej zastavenie je ochrana proti botom postavená. Časté príčiny:

  • Funkcie ochrany proti botom, ktoré overujú prevádzku zodpovedajúcu známym vzorom botov. Bot Fight Mode od Cloudflare napríklad botom zadáva výpočtovo náročné overovacie výzvy.
  • Vlastné pravidlá WAF, ktoré blokujú alebo overujú user agentov so slovami ako „bot“ alebo „crawler“, alebo ktoré povoľujú len krátky zoznam vyhľadávačov.
  • Nastavenia, ktoré blokujú AI crawlery ako kategóriu. Cloudflare umožňuje nastaviť politiky pre crawlery typu Search, Agent a Training a nastavenie Block tam platí pre všetky.
  • Obmedzenie rýchlosti, ktoré na rýchly sled požiadaviek crawlera odpovie kódom 429.
  • Blokovanie podľa krajiny alebo ASN, ktoré náhodou pokrýva siete, z ktorých crawlery bežia.

Ako rozlíšiť blok firewallu od bloku v robots.txt?

Blok v robots.txt je zdvorilá žiadosť: crawler si prečíta vaše pravidlá a stránku nestiahne. Blok firewallu je odpoveď: crawler stránku vyžiada a dostane niečo iné. Ten druhý druh môžete vidieť priamo. Stiahnite stránku dvakrát, raz s user agentom prehliadača a raz s user agentom crawlera, a porovnajte.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Znaky bloku firewallu: stavový kód 403, 429 alebo 503 len pre crawler; stránka s nadpisom Just a moment... alebo Attention Required! | Cloudflare; telo, ktoré obsahuje /cdn-cgi/challenge-platform; alebo odpoveď 200, ktorá je oveľa kratšia ako tá pre prehliadač. Majte na pamäti, že váš test prichádza z vašej vlastnej IP, nie z overeného rozsahu IP crawlera, takže ukazuje, ako firewall zaobchádza s user agentom, nie každý detail toho, ako zaobchádza so skutočným crawlerom.

Ako povoliť AI vyhľadávacie crawlery v Cloudflare?

AI Crawl Control od Cloudflare, dostupné vo všetkých plánoch, uvádza AI crawlery, ktoré navštevujú vašu doménu, a umožňuje pre každý nastaviť akciu. V dashboarde otvorte AI Crawl Control, prejdite na zoznam Crawlers a v stĺpci Action vyberte pre každý crawler Allow alebo Block. Cloudflare uvádza, že blokovanie tam vytvorí alebo aktualizuje vlastné pravidlo WAF vo vašej zóne.

Ak crawler blokuje vlastné pravidlo WAF, Super Bot Fight Mode alebo obmedzenie rýchlosti, pridajte vlastné pravidlo, ktoré tieto funkcie preskočí pre overené boty a pre token crawlera:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Pravidlo umiestnite ako prvé. Všimnite si, že porovnávanie user agenta pustí aj každého, kto ho falšuje. Kde sa dá, uprednostnite pole overeného bota (cf.client.bot) alebo rozsahy IP, ktoré dodávateľ zverejňuje.

A čo Bot Fight Mode?

Dokumentácia Cloudflare výslovne uvádza, že Bot Fight Mode sa nedá obísť ani preskočiť vlastnými pravidlami WAF ani Page Rules. Ak crawlery overuje práve táto funkcia, pravidlo s akciou Skip nepomôže. Možnosti sú Bot Fight Mode vypnúť alebo v pláne, ktorý ho má, použiť Super Bot Fight Mode, ktorý beží na Ruleset Engine a pravidlá s akciou Skip podporuje.

Ktoré crawlery mám pustiť?

Rozdeľte crawlery podľa toho, čo robia. Vyhľadávacie crawlery a crawlery na sťahovanie pre používateľov rozhodujú, či vás odpovede AI nájdu a budú citovať. Tréningové crawlery zbierajú dáta pre modely a ich blokovanie je legitímna voľba, ktorá vás z AI vyhľadávania neodstráni.

  • Vyhľadávanie: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Sťahovanie pre používateľov: ChatGPT-User, Claude-User, Perplexity-User.
  • Trénovanie: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Vlastné nastavenia politík v Cloudflare používajú rovnaké rozdelenie na Search, Agent a Training, takže prvé dve môžete povoliť a o tretej rozhodnúť samostatne. Ak používate iný firewall alebo CDN, princíp je rovnaký: pridajte token crawlera na allowlist, a kde je to možné, overený podľa zverejnených rozsahov IP dodávateľa alebo reverzným DNS, aby dostal tú istú odpoveď ako prehliadač.

Ako AISeeWhy zisťuje bloky firewallu?

AISeeWhy stiahne vašu stránku ako 14 crawlerov a bežný prehliadač, porovná stavový kód, veľkosť a presmerovania, rozpozná overovacie stránky a pomenuje firewall alebo CDN, ktoré odpovedali. Keď robots.txt crawler povoľuje, ale server ho blokuje, správa ukáže konflikt a dá vám pravidlo pre Cloudflare alebo krok na pridanie na allowlist, ktorý ho opraví.

Opravy tohto problému

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Zdroje

Ďalšie články

Publikované · Aktualizované