Cloudflare AI Crawl Control hesabatını necə oxumaq və hansı AI botlarının daxil olduğunu görmək
Cloudflare panelində AI Crawl Control-u açın: botlar siyahısı Cloudflare-in domeninizdə gördüyü hər AI botunu, onun sorğularını, robots.txt pozuntularını və əməliyyatının Allow və ya Block olduğunu göstərir. AI axtarışında qalıb təlimdən imtina etmək üçün axtarış və agent botlarına icazə verin, təlim botlarını isə orada və ya AI Crawler and Agent access policies bölməsində bloklayın və ya qadağan edin. Sonra nəticəni kənardan curl ilə təsdiqləyin, çünki Cloudflare-in digər funksiyaları icazə verdiyiniz botu yenə də bloklaya bilər.
Cloudflare-də indi AI botlarının nə alacağını həll edən iki yer var: əvvəllər AI Audit adlanan, hər bot üzrə hesabat və idarəetmə paneli olan AI Crawl Control və Security ayarları altında bütün zona üçün AI Crawler and Agent access policies. Hər ikisi Free planda mövcuddur, hər ikisi 2026-cı ildə dəyişib və heç biri bota yenə də 403 ilə cavab verə bilən digər funksiyalar haqqında məlumat vermir. Bu bələdçi hesabatı sütun-sütun izah edir, icazə və bloku harada təyin etməyi göstərir və öz kompüterinizdən işlədə biləcəyiniz testlə bitir.
Bu səhifədə
- Cloudflare-də AI botları hesabatı haradadır?
- AI Crawl Control hesabatındakı hər sütun və göstərici nə deməkdir?
- Cloudflare-də AI axtarış botlarına icazə verib təlim botlarını necə bloklayım?
- Cloudflare-in AI botları üçün standart ayarlarında nə dəyişib?
- İcazə verdikdən sonra Cloudflare niyə AI botlarını hələ də bloklayır?
- Cloudflare-in hansı AI botlarını içəri buraxdığını kənardan necə təsdiqləyim?
- AISeeWhy Cloudflare-in AI botlarına nə göndərdiyini necə yoxlayır?
Cloudflare-də AI botları hesabatı haradadır?
Paneldə hesabınızı və domeninizi seçin, sonra AI Crawl Control-u açın. Cloudflare bildirir ki, o, konfiqurasiyasız işləyir və domeninizin trafiki Cloudflare vasitəsilə proksilənirsə, bütün planlarda mövcuddur. Onun dörd bölməsi var:
- Overview: ümumi sorğular, həcm dəyişikliyi, ən çox rast gəlinən status kodu, ən populyar yol və yüksək həcmli botlarla qısa xülasə, həmçinin Cloudflare-in idarə olunan robots.txt-inin açıq olub-olmadığı və OpenAI, Microsoft, Google, ByteDance, Anthropic və Meta kimi operatorlar üzrə qruplaşdırılmış botlar.
- Botlar siyahısı: hər AI botu üçün bir sətir və Allow və ya Block seçdiyiniz Action sütunu. Cloudflare-in sənədləri bu tabı bir səhifədə Crawlers, digərində Security adlandırır, buna görə Action sütunu olan cədvəli axtarın.
- Metrics: zamanla sorğular, status kodlarının paylanması, məzmun formatı, ən populyar yollar və ödənişli planlarda yönləndirmələr. Filtrlər tarix aralığı, bot, operator, host adı və yolu əhatə edir, CSV ixrac etmək də olar.
- Directives: robots.txt faylınızın vəziyyəti və robots.txt pozuntularının siyahısı.
Rəqəmləri oxuyarkən iki plan məhdudiyyəti vacibdir. Free planda AI Crawl Control botları yalnız user agent sətri ilə tanıyır, yəni yalnız özünü təqdim edən botları görür, Metrics tabı isə son 24 saatı əhatə edir. Ödənişli planlar Bot Management aşkarlama ID-si ilə aşkarlama əlavə edir, Bot Management ilə Enterprise isə tənzimlənən vaxt aralıqları alır.
AI Crawl Control hesabatındakı hər sütun və göstərici nə deməkdir?
Cloudflare sahələri belə sənədləşdirir. Təriflər vacibdir, çünki bir neçə rəqəm gözlədiyinizdən daha çoxunu sayır.
- Crawler və Category: botun adı, operatoru və AI crawler, AI assistant və ya archiver kimi kateqoriyası.
- Requests: icazəli və uğursuz sorğuların cəmi, trend qrafiki ilə. Uğursuz sorğular yalnız AI Crawl Control blokundan deyil, istənilən qaydadan və ya cavab xətasından yarana bilər, buna görə icazə verdiyiniz bot üçün yüksək rəqəm başqa qaydaya və ya origin serverinizdəki xətalara işarə edir.
- Allowed requests: statusu 200 ilə 299 arasında olan sorğular. Ötürülən məlumat həcmi Cloudflare-in icazəli sorğular üçün göndərdiyi baytlarla ölçülür.
- Robots.txt violations: botun robots.txt-inizin qadağan etdiyi yolu neçə dəfə sorğuladığı. Cloudflare keçmiş sorğuları cari qaydalarınızla müqayisə edir, buna görə bu gün əlavə etdiyiniz qayda edildiyi vaxt icazəli olan sorğuları da işarələyə bilər.
- Action: Allow, Block və ya pay per crawl betasındakı hesablar üçün Charge.
- Status code distribution: 2xx, 3xx, 4xx və 5xx. 4xx qrupuna bloklardan gələn 403 və pay per crawl-dan gələn 402 daxildir.
- Referrals və top referrers, yalnız ödənişli planlarda: AI xidmətlərindən, məsələn chatgpt.com-dan gələn ziyarətlər və onların düşdüyü səhifələr.
Hesabatı seçdiyiniz əməliyyatdan çıxış edərək oxuyun. Allow təyin edilmiş bot əsasən icazəli sorğular və 2xx kodları göstərməlidir. Çoxlu uğursuz sorğu göstərirsə, həmin bota görə filtrlənmiş status kodları paylanmasını açın və cavab verən qaydanı tapmaq üçün Security Analytics-ə baxın.
Cloudflare-də AI axtarış botlarına icazə verib təlim botlarını necə bloklayım?
Bunu hər bot üzrə və ya davranışa görə etmək olar. Hər bot üzrə AI Crawl Control-u açın və hər sətir üçün Action təyin edin. Cloudflare bildirir ki, orada bloklamaq zonanızda WAF custom rule yaradır və ya yeniləyir; yollar üçün istisnalarla onu WAF-da genişləndirə bilərsiniz. Ödənişli planlarda bloklanmış botların 403 və ya 402 alacağını seçə və adi mətnli cavab gövdəsi təyin edə bilərsiniz.
Davranışa görə Security, sonra Settings bölməsinə keçin, Bot traffic üzrə filtrləyin və AI Crawler and Agent access policies-i açın. Cloudflare AI trafikini üç davranışa bölür və hər siyasət həmin davranışa malik təsdiqlənmiş botlara və uyğun gələn təsdiqlənməmiş botlara tətbiq olunur:
- Search: sonradan suallara cavab vermək üçün məzmunu toplamaq və ya indeksləmək.
- Agent: söhbətdən yükləmələr və brauzer agentləri kimi, insanın adından real vaxtda hərəkət etmək.
- Training: modelləri öyrətmək və ya fine-tune etmək üçün məzmun toplamaq, o cümlədən həm təlim, həm axtarış üçün istifadə olunan botlar.
Hər davranış üçün Block, Block on pages with ads və ya Allow (do not block) seçilə bilər. Training üçün həmçinin Disallow var ki, o, botlardan yalnız robots.txt vasitəsilə xahiş edir. Bot Preference Sync açıq olduqda Cloudflare robots.txt-inizin əvvəlinə Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot və meta-externalagent-i qadağan edən idarə olunan qaydalar əlavə edir, Content Signals sətri əlavə edir və həmçinin AI təlim botlarını edge-də bloklayır, həm axtarış, həm təlim üçün istifadə olunan botlar istisna olmaqla.
AI istinadları istəyən əksər saytlar üçün təhlükəsiz kombinasiya Search və Agent üçün Allow, Training üçün Disallow, sonra isə edge-də dayandırmaq istədiyiniz yalnız təlim üçün olan botlar üçün AI Crawl Control-da ayrıca Block əməliyyatlarıdır.
Cloudflare-in AI botları üçün standart ayarlarında nə dəyişib?
1 iyul 2025-ci ildə Cloudflare standart ayarı AI botları müəlliflərə ödəniş etmədikcə bloklamaq kimi dəyişdiyini elan etdi. 1 iyul 2026-cı ildə o, tək Block AI bots keçiricisini yuxarıda təsvir edilən ayrıca Search, Agent və Training siyasətləri ilə əvəz etdi, Free daxil olmaqla bütün planlar üçün. Eyni elanda deyilirdi ki, 15 sentyabr 2026-cı ildən qoşulan yeni domenlərdə reklam göstərən səhifələrdə Training və Agent bloklanacaq, Search isə icazəli olacaq.
Cloudflare-in sonuncu dəfə 2 noyabr 2026-cı ildə yenilənmiş cari siyasət sənədləri bildirir ki, yeni domenlər hər üç davranış üçün standart olaraq Allow (do not block) alır. Cloudflare-in öz səhifələri müxtəlif vaxtlarda fərqli standart ayarları təsvir etdiyinə görə zonanız üçün heç birinə güvənməyin: siyasət səhifəsini açın və nəyin təyin edildiyini oxuyun.
İcazə verdikdən sonra Cloudflare niyə AI botlarını hələ də bloklayır?
AI Crawl Control-dakı Allow əməliyyatı yalnız AI Crawl Control-un bloklamasını dayandırır. Digər funksiyalar sorğuya yenə də təsir edir. Tez-tez rast gəlinən səbəblər:
- Training-i bloklamaq hər ikisini edən axtarış botlarını da bloklayır. Cloudflare-in sənədləri bildirir ki, Training əməliyyatları qarışıq məqsədli botlara tətbiq olunur, iyul 2026 elanı isə Googlebot, Applebot və bingbot-u Training-i bloklayan müştərilərin 15 sentyabr 2026-cı ildən bloklayacağı botlar kimi adlandırır. Disallow daha dar seçimdir, çünki onun edge bloku qarışıq məqsədli botları ötürür.
- Bot Fight Mode açıqdır. Cloudflare bildirir ki, Bot Fight Mode-u WAF custom rules və ya Page Rules ilə yan keçmək və ya ötürmək mümkün deyil. O, bota challenge göstərirsə, onu söndürün və ya bu funksiyası olan planda skip qaydalarını dəstəkləyən Super Bot Fight Mode-dan istifadə edin.
- Köhnə WAF custom rule tərkibində
botolan user agent-ləri bloklayır və ya rate limiting qaydası sorğu partlayışlarına 429 ilə cavab verir. Bunlar AI Crawl Control-dakı Action-dan asılı olmayaraq işləyir. - Blok qaydası əl ilə dəyişdirilib. AI Crawl Control arxasındakı WAF qaydası başqa cavab koduna dəyişdirilibsə, panel seçiminizi artıq tətbiq edə bilmir.
- robots.txt botu hələ də qadağan edir. Cloudflare-dəki Allow robots.txt-inizi dəyişmir, buna görə qaydalara əməl edən bot yenə də gəlmir. Ən populyar 1000 domen üzrə araşdırmamızda robots.txt-də AI təlim botunu bloklayan 155 saytdan 98-i ən azı bir AI axtarış və ya istifadəçi botunu da bloklayırdı.
Cloudflare-in hansı AI botlarını içəri buraxdığını kənardan necə təsdiqləyim?
Eyni səhifəni brauzer user agent-i ilə və hər botun user agent-i ilə sorğulayın, sonra status və ölçünü müqayisə edin. Aşağıdakı OpenAI, Perplexity və Google sətirləri bu şirkətlərin dərc etdiyi sətirlərdir.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 və ya 503 olan, yaxud brauzer sətrindən xeyli kiçik ölçülü bot sətri origin serverinizin qarşısındakı nəyinsə fərqli cavab verdiyini göstərir. Free planda AI Crawl Control botları user agent ilə tanıyır, buna görə bu test onun bloklarının ağlabatan yoxlamasıdır. Təsdiqlənmiş bot statusuna və ya bot ballarına əsaslanan qaydalar sorğunuza real botdan fərqli yanaşa bilər, çünki o, operatorun dərc etdiyi diapazonlardan deyil, sizin IP ünvanınızdan gəlir. Testdən sonra hansı qaydanın işlədiyini görmək üçün Security Analytics-də öz sorğularınızı tapın.
AISeeWhy Cloudflare-in AI botlarına nə göndərdiyini necə yoxlayır?
Pulsuz AISeeWhy yoxlaması səhifənizi real brauzerlə yanaşı 16 AI və axtarış botu kimi sorğulayır, robots.txt-inizi hər bot üçün tətbiq edir və firewall challenge səhifələrini tanıyır, beləliklə Cloudflare panelindəki nəticənin botların həqiqətən aldığı ilə uyğun gəlib-gəlmədiyini görə bilərsiniz.
Bu problem üçün düzəlişlər
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Cloudflare AI Crawl Control pulsuzdurmu?
Bəli. Cloudflare AI Crawl Control-u bütün planlarda mövcud kimi göstərir. Free plan botları yalnız user agent ilə tanıyır və Metrics-də son 24 saatı göstərir; yönləndirmə məlumatları və xüsusi blok cavabları üçün ödənişli plan lazımdır.
Cloudflare AI Audit-ə nə oldu?
Onun adı dəyişdirildi. Cloudflare-in sənədləri AI Crawl Control-u əvvəlki AI Audit kimi təsvir edir, məqsəd eynidir: hansı AI botlarının gəldiyini görmək və hər biri üçün əməliyyat təyin etmək.
AI Crawl Control-da botu bloklamaq robots.txt-imi dəyişirmi?
Xeyr. Block əməliyyatı WAF custom rule yaradır və ya yeniləyir. robots.txt yalnız Bot Preference Sync ilə Training üçün Disallow seçimindən istifadə etdikdə dəyişir; bu halda Cloudflare-in idarə olunan qaydaları faylınızın əvvəlinə əlavə olunur.
Cloudflare-də robots.txt pozuntusu nə sayılır?
AI botunun robots.txt-inizin qadağan etdiyi yola sorğusu. Cloudflare keçmiş sorğuları cari qaydalarınızla müqayisə edir, buna görə yeni qayda o vaxt icazəli olan köhnə sorğuları da işarələyə bilər.
Pay per crawl nədir?
AI botlarından hər sorğu üçün ödəniş tələb edən, əks halda HTTP 402 və qiymətlə cavab verən Charge əməliyyatı. Cloudflare onu qapalı beta kimi təsvir edir, WAF və ya Bot Management blokları isə ondan üstündür.
Mənbələr
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11