Cloudflare AI botlarını bloklayırmı? Necə öyrənmək və düzəltmək olar

Təxminən 30 saniyəyə görün ki, Cloudflare və ya başqa firewall AI botlarına blokla cavab verir, və lazım olan botları buraxan qaydanı əldə edin.

Pulsuz · Qeydiyyatsız · Nəticə 30 saniyəyə

403, 429 və challenge səhifələri

Brauzeriniz real səhifəni alarkən botlar blok və ya Just a moment... səhifəsi ala bilər. Səhifəniz hər iki üsulla sorğulanır və fərq qeyd olunur.

robots.txt və firewall

robots.txt botа icazə verdiyi halda server onu rədd edirsə, hesabat ziddiyyəti göstərir, beləliklə hansı ayarı dəyişəcəyinizi bilirsiniz.

Firewall adı ilə

Cavab verən CDN və ya firewall, o cümlədən Cloudflare, adı ilə göstərilir, beləliklə harada axtaracağınızı təxmin etmək lazım gəlmir.

Tətbiq ediləcək qayda

Hər nəticə ilə birlikdə düzəliş verilir, məsələn Cloudflare qaydası və ya allowlist addımı. Pulsuz yoxlama balınızı və ilk nəticəni göstərir; tam hesabat $29-dur, birdəfəlik.

Qısa cavab

Cloudflare və digər firewall-lar robots.txt bota icazə versə belə, AI botlarına 403, 429 və ya "Just a moment..." challenge səhifəsi ilə cavab verə, brauzerlərə isə real səhifəni verə bilər. Bunu səhifəni botun user agent-i ilə sorğulayaraq yoxlayın, sonra AI axtarış botlarına AI Crawl Control-da və ya WAF Skip qaydası ilə icazə verin.

3 addımda tapın və düzəldin

  1. Səhifəni iki dəfə sorğulayın

    Bir dəfə brauzer user agent-i ilə, bir dəfə botun user agent-i ilə. Yalnız bot üçün 403, 429 və ya 503, Just a moment... səhifəsi və ya xeyli qısa 200 firewall blokunu göstərir.

  2. Axtarış botlarına icazə verin

    Cloudflare-də AI Crawl Control bölməsini açın, Crawlers siyahısına keçin və istədiyiniz botlar, məsələn OAI-SearchBot üçün Action sütununda Allow seçin.

  3. Lazım gələrsə, digər mühafizələri keçin

    Əgər WAF custom rule, Super Bot Fight Mode və ya rate limiting hələ də onları bloklayırsa, doğrulanmış botlar üçün bu funksiyaları keçən qayda əlavə edin və onu birinci yerə qoyun. User agent uyğunluğu əvəzinə verified bot sahəsinə və ya təchizatçının dərc etdiyi IP diapazonlarına üstünlük verin.

Tez-tez verilən suallar

Cloudflare-də hansı AI botlarının bloklandığını harada görə bilərəm?

Cloudflare panelində AI Crawl Control-u açın. Onun botlar siyahısı Cloudflare-in domeninizdə gördüyü hər AI botunu, onun neçə sorğu etdiyini və əməliyyatının Allow və ya Block olduğunu göstərir, əməliyyatı da orada dəyişə bilərsiniz. Bot Fight Mode kimi digər funksiyalar icazə verdiyiniz botu yenə də bloklaya bilər, buna görə nəticəni botun user agent-i ilə göndərilən sorğu ilə təsdiqləyin.

Cloudflare AI botlarını standart olaraq bloklayırmı?

Bu, hesabınızdan, planınızdan və zonanızdakı parametrlərdən asılıdır, Cloudflare isə bu seçimləri zaman-zaman dəyişib. Fərziyyəyə arxalanmayın: AI Crawl Control-a və bot parametrlərinə baxın, botun user agent-i ilə test edin.

Saytım niyə brauzerdə işləyir, botlar üçün isə yox?

Firewall-lar hər sorğunu qiymətləndirir. Brauzer JavaScript challenge-lərindən keçir və cookie saxlayır; bot isə bunu etmir, buna görə o, sizin heç vaxt görmədiyiniz challenge səhifəsi və ya 403 ala bilər.

AI botlarını WAF-dan buraxmaq təhlükəsizdirmi?

Adı bilinən bota icazə vermək onu şirkətin IP diapazonları və ya Cloudflare-in təsdiqlənmiş bot siqnalı ilə təsdiqləsəniz, az risklidir. Yalnız user agent-ə etibar edən qaydalar onu kopyalayan hər kəsi də buraxır.

Cloudflare-in e-poçt gizlətmə funksiyası AI botlarına təsir edirmi?

O, e-poçt ünvanlarını yalnız skriptin deşifrə etdiyi keçidlə əvəz edir, buna görə botlar ünvan əvəzinə yer tutucu görür. Əlaqə e-poçtunuzun oxunmasını istəyirsinizsə, Scrape Shield bölməsində Email Address Obfuscation-u söndürün və ünvanı adi mətn kimi göstərin.

Tam bələdçini oxuyun

Bot mühafizəsi skreyperləri və sui-istifadəni dayandırmaq üçün mövcuddur və bunu yaxşı edir. Problem ondadır ki, AI axtarış botları da botdur. İllər əvvəl yandırılmış təhlükəsizlik parametri, rate limit və ya naməlum user agent-lərə qarşı geniş qayda sizə istinad edən botları səssizcə kənarda saxlaya bilər, sizin öz ziyarətləriniz isə tamamilə normal görünür.

Firewall AI botlarını niyə bloklaya bilər?

Firewall-lar hər sorğunu qiymətləndirir. Bot JavaScript challenge-lərini icra etmir, brauzer kimi cookie saxlamır və tez-tez ardıcıl çoxlu səhifə sorğulayır, buna görə bot mühafizəsinin dayandırmaq üçün qurulduğu trafikə tam bənzəyə bilər. Ümumi səbəblər bunlardır:

  • Məlum bot nümunələrinə uyğun gələn trafikə challenge göstərən bot mühafizəsi funksiyaları. Məsələn, Cloudflare-in Bot Fight Mode funksiyası botlara hesablama baxımından ağır challenge-lər göstərir.
  • Tərkibində "bot" və ya "crawler" kimi sözlər olan user agent-ləri bloklayan və ya onlara challenge göstərən, yaxud yalnız qısa axtarış sistemləri siyahısına icazə verən WAF xüsusi qaydaları.
  • AI botlarını kateqoriya kimi bloklayan parametrlər. Cloudflare Search, Agent və Training botları üçün siyasət təyin etməyə imkan verir və oradakı Block parametri onların hamısına şamil olunur.
  • Botun ardıcıl sürətli sorğularına 429 ilə cavab verən rate limiting.
  • Təsadüfən botların işlədiyi şəbəkələri əhatə edən ölkə və ya ASN blokları.

Firewall blokunu robots.txt blokundan necə ayırmaq olar?

robots.txt bloku nəzakətli xahişdir: bot qaydalarınızı oxuyur və səhifəni yükləmir. Firewall bloku isə cavabdır: bot səhifəni sorğulayır və başqa bir şey alır. İkinci növü birbaşa görə bilərsiniz. Səhifəni iki dəfə sorğulayın, bir dəfə brauzer user agent-i, bir dəfə də botun user agent-i ilə, sonra müqayisə edin.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Firewall blokunun əlamətləri: yalnız bot üçün 403, 429 və ya 503 statusu; Just a moment... və ya Attention Required! | Cloudflare başlıqlı səhifə; tərkibində /cdn-cgi/challenge-platform olan cavab; yaxud brauzerinkindən xeyli qısa 200 cavabı. Nəzərə alın ki, testiniz botun təsdiqlənmiş IP diapazonundan deyil, öz IP-nizdən gəlir, buna görə o, firewall-un real bota necə yanaşdığının bütün detallarını deyil, user agent-ə necə yanaşdığını göstərir.

Cloudflare-də AI axtarış botlarına necə icazə verim?

Bütün planlarda mövcud olan Cloudflare AI Crawl Control domeninizə gələn AI botlarını göstərir və hər biri üçün əməliyyat təyin etməyə imkan verir. Paneldə AI Crawl Control-u açın, Crawlers siyahısına keçin və hər bot üçün Action sütununda Allow və ya Block seçin. Cloudflare bildirir ki, orada bloklamaq zonanızda WAF xüsusi qaydası yaradır və ya onu yeniləyir.

Botu WAF xüsusi qaydası, Super Bot Fight Mode və ya rate limiting bloklayırsa, təsdiqlənmiş botlar və botun tokeni üçün bu funksiyaları ötürən xüsusi qayda əlavə edin:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Qaydanı birinci yerə qoyun. Nəzərə alın ki, user agent-ə görə uyğunlaşdırma həmin user agent-i saxtalaşdıran hər kəsi də buraxır. Mümkün olan yerdə təsdiqlənmiş bot sahəsinə (cf.client.bot) və ya şirkətin dərc etdiyi IP diapazonlarına üstünlük verin.

Bəs Bot Fight Mode?

Cloudflare-in sənədlərində açıq deyilir ki, Bot Fight Mode-u WAF xüsusi qaydaları və ya Page Rules ilə yan keçmək və ya ötürmək olmur. Botlara challenge göstərən bu funksiyadırsa, Skip qaydası kömək etməyəcək. Seçimlər bunlardır: Bot Fight Mode-u söndürmək və ya Ruleset Engine üzərində işləyən və Skip qaydalarını dəstəkləyən Super Bot Fight Mode-dan onu təklif edən planda istifadə etmək.

Hansı botları buraxmalıyam?

Botları gördükləri işə görə ayırın. Axtarış və istifadəçi botları AI cavablarının sizi tapıb sizə istinad edə bilib-bilməyəcəyini həll edir. Təlim botları modellər üçün məlumat toplayır və onları bloklamaq sizi AI axtarışından çıxarmayan qanuni seçimdir.

  • Axtarış: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • İstifadəçi yükləmələri: ChatGPT-User, Claude-User, Perplexity-User.
  • Təlim: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare-in öz siyasət parametrləri də eyni Search, Agent və Training bölgüsündən istifadə edir, buna görə ilk ikisinə icazə verib üçüncüsü barədə ayrıca qərar verə bilərsiniz. Başqa firewall və ya CDN istifadə edirsinizsə, prinsip eynidir: botun tokenini icazə siyahısına əlavə edin, mümkün olduqda şirkətin dərc etdiyi IP diapazonları və ya reverse DNS ilə təsdiqləyin ki, o, brauzerlə eyni cavabı alsın.

AISeeWhy firewall bloklarını necə aşkar edir?

AISeeWhy səhifənizi 14 bot və adi brauzer kimi sorğulayır, statusu, ölçünü və yönləndirmələri müqayisə edir, challenge səhifələrini tanıyır və cavab verən firewall və ya CDN-i adı ilə göstərir. robots.txt bota icazə verib server onu bloklayanda hesabat bu ziddiyyəti göstərir və onu düzəltmək üçün Cloudflare qaydasını və ya icazə siyahısı addımını verir.

Bu problem üçün düzəlişlər

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Mənbələr

Digər məqalələr

Dərc olunub · Yenilənib