Blochează Cloudflare crawlerele AI? Cum afli și cum remediezi

Publicat 2026-11-12

Răspuns scurt

Cloudflare și alte firewall-uri pot răspunde crawlerelor AI cu un 403, un 429 sau o pagină de verificare „Just a moment...”, în timp ce browserele primesc pagina reală, chiar dacă robots.txt permite crawlerul. Verifică cerând pagina cu user agent-ul crawlerului, apoi permite crawlerele de căutare AI în AI Crawl Control sau cu o regulă skip în WAF.

Protecția anti-bot există pentru a opri scraperele și abuzurile, și o face bine. Problema e că și crawlerele de căutare AI sunt boți. O setare de securitate activată cu ani în urmă, o limită de cereri sau o regulă largă împotriva user agent-urilor necunoscute poate ține pe tăcute afară exact crawlerele care te citează, în timp ce propriile tale vizite arată perfect normal.

Pe această pagină

De ce ar bloca un firewall crawlerele AI?
Cum deosebesc un blocaj de firewall de unul din robots.txt?
Cum permit crawlerele de căutare AI în Cloudflare?
Dar Bot Fight Mode?
Ce crawlere ar trebui să las să treacă?
Cum detectează AISeeWhy blocajele de firewall?

De ce ar bloca un firewall crawlerele AI?

Firewall-urile judecă fiecare cerere. Un crawler nu execută verificări JavaScript, nu păstrează cookie-uri ca un browser și cere adesea multe pagini la rând, așa că poate arăta exact ca traficul pe care protecția anti-bot a fost făcută să-l oprească. Cauzele obișnuite sunt:

Funcții de protecție anti-bot care supun unei verificări traficul ce se potrivește unor tipare cunoscute de boți. Bot Fight Mode de la Cloudflare, de exemplu, trimite boților verificări costisitoare din punct de vedere computațional.
Reguli personalizate WAF care blochează sau supun unei verificări user agent-uri ce conțin cuvinte precum „bot” sau „crawler”, sau care permit doar o listă scurtă de motoare de căutare.
Setări care blochează crawlerele AI ca o categorie. Cloudflare îți permite să stabilești politici pentru crawlerele Search, Agent și Training, iar o setare Block de acolo se aplică tuturor.
Limitarea ratei, care răspunde cu 429 la secvența rapidă de cereri a unui crawler.
Blocări pe țară sau pe ASN care acoperă, întâmplător, rețelele din care rulează crawlerele.

Cum deosebesc un blocaj de firewall de unul din robots.txt?

Un blocaj din robots.txt este o rugăminte politicoasă: crawlerul citește regulile tale și nu preia pagina. Un blocaj de firewall este un răspuns: crawlerul cere pagina și primește altceva. Al doilea tip se poate vedea direct. Cere pagina de două ori, o dată cu un user agent de browser și o dată cu cel al crawlerului, și compară.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Semne ale unui blocaj de firewall: status 403, 429 sau 503 doar pentru crawler; o pagină cu titlul Just a moment... sau Attention Required! | Cloudflare; un corp care conține /cdn-cgi/challenge-platform; sau un răspuns 200 mult mai scurt decât cel al browserului. Ține cont că testul tău pornește de la propriul IP, nu de la intervalul IP verificat al crawlerului, deci arată cum tratează firewall-ul user agent-ul, nu fiecare detaliu al felului în care tratează crawlerul real.

Cum permit crawlerele de căutare AI în Cloudflare?

AI Crawl Control de la Cloudflare, disponibil în toate planurile, listează crawlerele AI care îți vizitează domeniul și îți permite să stabilești o acțiune pentru fiecare. În dashboard, deschide AI Crawl Control, mergi la lista Crawlers și alege Allow sau Block în coloana Action pentru fiecare crawler. Cloudflare spune că blocarea de acolo creează sau actualizează o regulă personalizată WAF în zona ta.

Dacă ceea ce blochează crawlerul este o regulă personalizată WAF, Super Bot Fight Mode sau limitarea ratei, adaugă o regulă personalizată care sare peste aceste funcții pentru boții verificați și pentru tokenul crawlerului:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Pune regula pe primul loc. Reține că potrivirea după user agent lasă să treacă și pe oricine falsifică acel user agent. Unde poți, preferă câmpul de bot verificat (cf.client.bot) sau intervalele IP publicate de furnizor.

Dar Bot Fight Mode?

Documentația Cloudflare este explicită: Bot Fight Mode nu poate fi ocolit sau omis cu reguli personalizate WAF ori cu Page Rules. Dacă el este cel care supune crawlerele la verificare, o regulă skip nu ajută. Opțiunile sunt să oprești Bot Fight Mode sau să folosești Super Bot Fight Mode într-un plan care îl include, care rulează pe Ruleset Engine și acceptă reguli skip.

Ce crawlere ar trebui să las să treacă?

Împarte crawlerele după ce fac. Crawlerele de căutare și cele care preiau pagini la cererea utilizatorului decid dacă răspunsurile AI te pot găsi și cita. Crawlerele de antrenare colectează date pentru modele, iar blocarea lor este o alegere legitimă care nu te scoate din căutarea AI.

Căutare: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
Preluări la cererea utilizatorului: ChatGPT-User, Claude-User, Perplexity-User.
Antrenare: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Setările de politică ale Cloudflare folosesc aceeași împărțire în Search, Agent și Training, așa că le poți permite pe primele două și poți decide separat în privința celei de-a treia. Dacă folosești alt firewall sau CDN, principiul este același: pune tokenul crawlerului pe lista de permisiuni, verificat prin intervalele IP publicate de furnizor sau prin DNS invers, acolo unde sunt oferite, pentru ca el să primească același răspuns ca un browser.

Cum detectează AISeeWhy blocajele de firewall?

AISeeWhy cere pagina ta ca 14 crawlere și ca un browser obișnuit, compară statusul, dimensiunea și redirecționările, recunoaște paginile de verificare și numește firewall-ul sau CDN-ul care a răspuns. Când robots.txt permite un crawler, dar serverul îl blochează, raportul arată conflictul și oferă regula Cloudflare sau pasul de listă de permisiuni care îl remediază.

Întrebări frecvente

Blochează Cloudflare crawlerele AI în mod implicit?

Depinde de contul tău, de plan și de setările din zona ta, iar Cloudflare a schimbat aceste opțiuni în timp. Verifică AI Crawl Control și setările pentru boți și testează cu user agent-ul crawlerului, în loc să presupui.

De ce site-ul meu funcționează în browser, dar nu pentru crawlere?

Firewall-urile judecă fiecare cerere. Un browser trece de verificările JavaScript și păstrează cookie-uri; un crawler nu, așa că poate primi o pagină de verificare sau un 403 pe care tu nu-l vezi niciodată.

Este sigur să permit crawlerele AI prin WAF?

Permiterea unui crawler anume are risc scăzut dacă îl verifici după intervalele IP ale furnizorului sau după semnalul de bot verificat al Cloudflare. Regulile care se bazează doar pe user agent lasă să intre și pe oricine îl copiază.

Afectează funcția de ofuscare a e-mailului de la Cloudflare crawlerele AI?

Înlocuiește adresele de e-mail cu un link pe care doar un script îl decodează, așa că crawlerele văd un substituent în loc de adresă. Dacă vrei ca adresa ta de contact să fie lizibilă, dezactivează Email Address Obfuscation din Scrape Shield și afișează adresa ca text simplu.