Cloudflare AI Crawl Control hesabatını necə oxumaq və hansı AI botlarının daxil olduğunu görmək

Dərc olunub

Qısa cavab

Cloudflare panelində AI Crawl Control-u açın: botlar siyahısı Cloudflare-in domeninizdə gördüyü hər AI botunu, onun sorğularını, robots.txt pozuntularını və əməliyyatının Allow və ya Block olduğunu göstərir. AI axtarışında qalıb təlimdən imtina etmək üçün axtarış və agent botlarına icazə verin, təlim botlarını isə orada və ya AI Crawler and Agent access policies bölməsində bloklayın və ya qadağan edin. Sonra nəticəni kənardan curl ilə təsdiqləyin, çünki Cloudflare-in digər funksiyaları icazə verdiyiniz botu yenə də bloklaya bilər.

Cloudflare-də indi AI botlarının nə alacağını həll edən iki yer var: əvvəllər AI Audit adlanan, hər bot üzrə hesabat və idarəetmə paneli olan AI Crawl Control və Security ayarları altında bütün zona üçün AI Crawler and Agent access policies. Hər ikisi Free planda mövcuddur, hər ikisi 2026-cı ildə dəyişib və heç biri bota yenə də 403 ilə cavab verə bilən digər funksiyalar haqqında məlumat vermir. Bu bələdçi hesabatı sütun-sütun izah edir, icazə və bloku harada təyin etməyi göstərir və öz kompüterinizdən işlədə biləcəyiniz testlə bitir.

Bu səhifədə
  1. Cloudflare-də AI botları hesabatı haradadır?
  2. AI Crawl Control hesabatındakı hər sütun və göstərici nə deməkdir?
  3. Cloudflare-də AI axtarış botlarına icazə verib təlim botlarını necə bloklayım?
  4. Cloudflare-in AI botları üçün standart ayarlarında nə dəyişib?
  5. İcazə verdikdən sonra Cloudflare niyə AI botlarını hələ də bloklayır?
  6. Cloudflare-in hansı AI botlarını içəri buraxdığını kənardan necə təsdiqləyim?
  7. AISeeWhy Cloudflare-in AI botlarına nə göndərdiyini necə yoxlayır?

Cloudflare-də AI botları hesabatı haradadır?

Paneldə hesabınızı və domeninizi seçin, sonra AI Crawl Control-u açın. Cloudflare bildirir ki, o, konfiqurasiyasız işləyir və domeninizin trafiki Cloudflare vasitəsilə proksilənirsə, bütün planlarda mövcuddur. Onun dörd bölməsi var:

Rəqəmləri oxuyarkən iki plan məhdudiyyəti vacibdir. Free planda AI Crawl Control botları yalnız user agent sətri ilə tanıyır, yəni yalnız özünü təqdim edən botları görür, Metrics tabı isə son 24 saatı əhatə edir. Ödənişli planlar Bot Management aşkarlama ID-si ilə aşkarlama əlavə edir, Bot Management ilə Enterprise isə tənzimlənən vaxt aralıqları alır.

AI Crawl Control hesabatındakı hər sütun və göstərici nə deməkdir?

Cloudflare sahələri belə sənədləşdirir. Təriflər vacibdir, çünki bir neçə rəqəm gözlədiyinizdən daha çoxunu sayır.

Hesabatı seçdiyiniz əməliyyatdan çıxış edərək oxuyun. Allow təyin edilmiş bot əsasən icazəli sorğular və 2xx kodları göstərməlidir. Çoxlu uğursuz sorğu göstərirsə, həmin bota görə filtrlənmiş status kodları paylanmasını açın və cavab verən qaydanı tapmaq üçün Security Analytics-ə baxın.

Cloudflare-də AI axtarış botlarına icazə verib təlim botlarını necə bloklayım?

Bunu hər bot üzrə və ya davranışa görə etmək olar. Hər bot üzrə AI Crawl Control-u açın və hər sətir üçün Action təyin edin. Cloudflare bildirir ki, orada bloklamaq zonanızda WAF custom rule yaradır və ya yeniləyir; yollar üçün istisnalarla onu WAF-da genişləndirə bilərsiniz. Ödənişli planlarda bloklanmış botların 403 və ya 402 alacağını seçə və adi mətnli cavab gövdəsi təyin edə bilərsiniz.

Davranışa görə Security, sonra Settings bölməsinə keçin, Bot traffic üzrə filtrləyin və AI Crawler and Agent access policies-i açın. Cloudflare AI trafikini üç davranışa bölür və hər siyasət həmin davranışa malik təsdiqlənmiş botlara və uyğun gələn təsdiqlənməmiş botlara tətbiq olunur:

Hər davranış üçün Block, Block on pages with ads və ya Allow (do not block) seçilə bilər. Training üçün həmçinin Disallow var ki, o, botlardan yalnız robots.txt vasitəsilə xahiş edir. Bot Preference Sync açıq olduqda Cloudflare robots.txt-inizin əvvəlinə Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot və meta-externalagent-i qadağan edən idarə olunan qaydalar əlavə edir, Content Signals sətri əlavə edir və həmçinin AI təlim botlarını edge-də bloklayır, həm axtarış, həm təlim üçün istifadə olunan botlar istisna olmaqla.

AI istinadları istəyən əksər saytlar üçün təhlükəsiz kombinasiya Search və Agent üçün Allow, Training üçün Disallow, sonra isə edge-də dayandırmaq istədiyiniz yalnız təlim üçün olan botlar üçün AI Crawl Control-da ayrıca Block əməliyyatlarıdır.

Cloudflare-in AI botları üçün standart ayarlarında nə dəyişib?

1 iyul 2025-ci ildə Cloudflare standart ayarı AI botları müəlliflərə ödəniş etmədikcə bloklamaq kimi dəyişdiyini elan etdi. 1 iyul 2026-cı ildə o, tək Block AI bots keçiricisini yuxarıda təsvir edilən ayrıca Search, Agent və Training siyasətləri ilə əvəz etdi, Free daxil olmaqla bütün planlar üçün. Eyni elanda deyilirdi ki, 15 sentyabr 2026-cı ildən qoşulan yeni domenlərdə reklam göstərən səhifələrdə Training və Agent bloklanacaq, Search isə icazəli olacaq.

Cloudflare-in sonuncu dəfə 2 noyabr 2026-cı ildə yenilənmiş cari siyasət sənədləri bildirir ki, yeni domenlər hər üç davranış üçün standart olaraq Allow (do not block) alır. Cloudflare-in öz səhifələri müxtəlif vaxtlarda fərqli standart ayarları təsvir etdiyinə görə zonanız üçün heç birinə güvənməyin: siyasət səhifəsini açın və nəyin təyin edildiyini oxuyun.

İcazə verdikdən sonra Cloudflare niyə AI botlarını hələ də bloklayır?

AI Crawl Control-dakı Allow əməliyyatı yalnız AI Crawl Control-un bloklamasını dayandırır. Digər funksiyalar sorğuya yenə də təsir edir. Tez-tez rast gəlinən səbəblər:

Cloudflare-in hansı AI botlarını içəri buraxdığını kənardan necə təsdiqləyim?

Eyni səhifəni brauzer user agent-i ilə və hər botun user agent-i ilə sorğulayın, sonra status və ölçünü müqayisə edin. Aşağıdakı OpenAI, Perplexity və Google sətirləri bu şirkətlərin dərc etdiyi sətirlərdir.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 və ya 503 olan, yaxud brauzer sətrindən xeyli kiçik ölçülü bot sətri origin serverinizin qarşısındakı nəyinsə fərqli cavab verdiyini göstərir. Free planda AI Crawl Control botları user agent ilə tanıyır, buna görə bu test onun bloklarının ağlabatan yoxlamasıdır. Təsdiqlənmiş bot statusuna və ya bot ballarına əsaslanan qaydalar sorğunuza real botdan fərqli yanaşa bilər, çünki o, operatorun dərc etdiyi diapazonlardan deyil, sizin IP ünvanınızdan gəlir. Testdən sonra hansı qaydanın işlədiyini görmək üçün Security Analytics-də öz sorğularınızı tapın.

AISeeWhy Cloudflare-in AI botlarına nə göndərdiyini necə yoxlayır?

Pulsuz AISeeWhy yoxlaması səhifənizi real brauzerlə yanaşı 16 AI və axtarış botu kimi sorğulayır, robots.txt-inizi hər bot üçün tətbiq edir və firewall challenge səhifələrini tanıyır, beləliklə Cloudflare panelindəki nəticənin botların həqiqətən aldığı ilə uyğun gəlib-gəlmədiyini görə bilərsiniz.

Bu problem üçün düzəlişlər

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

Cloudflare AI Crawl Control pulsuzdurmu?

Bəli. Cloudflare AI Crawl Control-u bütün planlarda mövcud kimi göstərir. Free plan botları yalnız user agent ilə tanıyır və Metrics-də son 24 saatı göstərir; yönləndirmə məlumatları və xüsusi blok cavabları üçün ödənişli plan lazımdır.

Cloudflare AI Audit-ə nə oldu?

Onun adı dəyişdirildi. Cloudflare-in sənədləri AI Crawl Control-u əvvəlki AI Audit kimi təsvir edir, məqsəd eynidir: hansı AI botlarının gəldiyini görmək və hər biri üçün əməliyyat təyin etmək.

AI Crawl Control-da botu bloklamaq robots.txt-imi dəyişirmi?

Xeyr. Block əməliyyatı WAF custom rule yaradır və ya yeniləyir. robots.txt yalnız Bot Preference Sync ilə Training üçün Disallow seçimindən istifadə etdikdə dəyişir; bu halda Cloudflare-in idarə olunan qaydaları faylınızın əvvəlinə əlavə olunur.

Cloudflare-də robots.txt pozuntusu nə sayılır?

AI botunun robots.txt-inizin qadağan etdiyi yola sorğusu. Cloudflare keçmiş sorğuları cari qaydalarınızla müqayisə edir, buna görə yeni qayda o vaxt icazəli olan köhnə sorğuları da işarələyə bilər.

Pay per crawl nədir?

AI botlarından hər sorğu üçün ödəniş tələb edən, əks halda HTTP 402 və qiymətlə cavab verən Charge əməliyyatı. Cloudflare onu qapalı beta kimi təsvir edir, WAF və ya Bot Management blokları isə ondan üstündür.

Mənbələr

Digər məqalələr