Cloudflare AI Crawl Control hisobotini qanday oʻqish va qaysi AI kraulerlari kirayotganini koʻrish mumkin
Cloudflare boshqaruv panelida AI Crawl Control ni oching: kraulerlar roʻyxati Cloudflare domeningizda koʻrgan har bir AI kraulerini, uning soʻrovlarini, robots.txt buzilishlarini va amali Allow yoki Block ekanini koʻrsatadi. AI qidiruvini saqlab, oʻqitishni rad etish uchun qidiruv va agent kraulerlariga ruxsat bering, oʻqitish kraulerlarini esa shu yerda yoki AI Crawler and Agent access policies boʻlimida bloklang yoki taqiqlang. Soʻng natijani tashqaridan curl bilan tasdiqlang, chunki Cloudflareʼning boshqa funksiyalari siz ruxsat bergan kraulerni baribir bloklashi mumkin.
Endi Cloudflareʼda AI kraulerlari nima olishini hal qiladigan ikki joy bor: avval AI Audit deb atalgan, har bir krauler boʻyicha hisobot va boshqaruv paneli boʻlgan AI Crawl Control hamda Security sozlamalaridagi butun zona uchun AI Crawler and Agent access policies. Ikkalasi ham Free tarifida mavjud, ikkalasi ham 2026 yil davomida oʻzgargan va ularning hech biri kraulerga baribir 403 bilan javob berishi mumkin boʻlgan boshqa barcha funksiyalar haqida aytmaydi. Ushbu qoʻllanma hisobotni ustunma-ustun koʻrib chiqadi, ruxsat berish va bloklash qayerda sozlanishini koʻrsatadi va oʻz kompyuteringizdan ishga tushirsa boʻladigan test bilan yakunlanadi.
Ushbu sahifada
- Cloudflareʼda AI kraulerlari hisoboti qayerda?
- AI Crawl Control hisobotidagi har bir ustun va koʻrsatkich nimani bildiradi?
- Cloudflareʼda AI qidiruv kraulerlariga qanday ruxsat berib, oʻqitish kraulerlarini bloklayman?
- Cloudflareʼning AI kraulerlari uchun standart sozlamalarida nima oʻzgardi?
- Nega ruxsat berganimdan keyin ham Cloudflare AI kraulerlarini bloklayapti?
- Cloudflare qaysi AI kraulerlarini oʻtkazayotganini tashqaridan qanday tasdiqlayman?
- AISeeWhy Cloudflare AI kraulerlariga nima yuborishini qanday tekshiradi?
Cloudflareʼda AI kraulerlari hisoboti qayerda?
Boshqaruv panelida hisobingiz va domeningizni tanlang, soʻng AI Crawl Control ni oching. Cloudflare aytishicha, u sozlashsiz ishlaydi va domeningiz trafigi Cloudflare orqali proksilangan boʻlsa, barcha tariflarda mavjud. Unda toʻrtta boʻlim bor:
- Overview: jami soʻrovlar, hajm oʻzgarishi, eng koʻp uchraydigan holat kodi, eng mashhur yoʻl va yuqori hajmli kraulerlar koʻrsatilgan qisqa xulosa, shuningdek Cloudflareʼning boshqariladigan robots.txt yoqilganmi va OpenAI, Microsoft, Google, ByteDance, Anthropic va Meta kabi operatorlar boʻyicha guruhlangan kraulerlar.
- Kraulerlar roʻyxati: har bir AI krauleri uchun bitta qator, Allow yoki Block ni tanlaydigan Action ustuni bilan. Cloudflare hujjatlari bu yorliqni bir sahifada Crawlers, boshqasida Security deb ataydi, shuning uchun Action ustunli jadvalni qidiring.
- Metrics: vaqt boʻyicha soʻrovlar, holat kodlari taqsimoti, kontent formati, eng mashhur yoʻllar va pullik tariflarda referral tashriflar. Filtrlar sana oraligʻi, krauler, operator, xost nomi va yoʻlni qamrab oladi, CSV eksport qilish ham mumkin.
- Directives: robots.txt faylingiz holati va robots.txt buzilishlari roʻyxati.
Raqamlarni oʻqishda ikkita tarif cheklovi muhim. Free tarifida AI Crawl Control kraulerlarni faqat user agent satri boʻyicha taniydi, shuning uchun u faqat oʻzini tanishtiradigan kraulerlarni koʻradi, Metrics yorligʻi esa soʻnggi 24 soatni qamrab oladi. Pullik tariflar Bot Management detection ID orqali aniqlashni qoʻshadi, Bot Management bilan Enterprise esa sozlanadigan vaqt oraliqlarini oladi.
AI Crawl Control hisobotidagi har bir ustun va koʻrsatkich nimani bildiradi?
Cloudflare maydonlarni quyidagicha hujjatlashtiradi. Taʼriflar muhim, chunki bir nechta raqam siz kutgandan koʻproq narsani sanaydi.
- Crawler va Category: kraulerning nomi, operatori va AI crawler, AI assistant yoki archiver kabi kategoriyasi.
- Requests: ruxsat berilgan va muvaffaqiyatsiz soʻrovlar yigʻindisi, trend grafigi bilan. Muvaffaqiyatsiz soʻrovlar faqat AI Crawl Control blokidan emas, istalgan qoida yoki javob xatosidan kelib chiqishi mumkin, shuning uchun siz ruxsat bergan kraulerda bu son yuqori boʻlsa, boshqa qoida yoki serveringizdagi xatolarni koʻrsatadi.
- Allowed requests: 200 dan 299 gacha holat kodini olgan soʻrovlar. Maʼlumot uzatish hajmi Cloudflare ruxsat berilgan soʻrovlar uchun yuborgan baytlardan oʻlchanadi.
- Robots.txt violations: krauler robots.txt taqiqlagan yoʻlni necha marta soʻragani. Cloudflare oʻtgan soʻrovlarni joriy qoidalaringiz bilan solishtiradi, shuning uchun bugun qoʻshgan qoidangiz qilingan paytda ruxsat berilgan soʻrovlarni ham belgilashi mumkin.
- Action: Allow, Block yoki pay per crawl beta versiyasidagi hisoblar uchun Charge.
- Holat kodlari taqsimoti: 2xx, 3xx, 4xx va 5xx. 4xx guruhiga bloklardan kelgan 403 va pay per crawl dan kelgan 402 kiradi.
- Referrals va asosiy referrerlar, faqat pullik tariflarda: AI xizmatlaridan, masalan chatgpt.com dan kelgan tashriflar va ular tushgan sahifalar.
Hisobotni siz tanlagan amaldan kelib chiqib oʻqing. Allow ga oʻrnatilgan kraulerda asosan ruxsat berilgan soʻrovlar va 2xx kodlari boʻlishi kerak. Unda muvaffaqiyatsiz soʻrovlar koʻp boʻlsa, shu krauler boʻyicha filtrlangan holat kodlari taqsimotini oching va javob bergan qoidani topish uchun Security Analytics ni tekshiring.
Cloudflareʼda AI qidiruv kraulerlariga qanday ruxsat berib, oʻqitish kraulerlarini bloklayman?
Buni har bir krauler boʻyicha yoki xatti-harakat boʻyicha qilish mumkin. Krauler boʻyicha: AI Crawl Control ni oching va har bir qator uchun Action ni belgilang. Cloudflare aytishicha, u yerda bloklash zonangizda WAF custom rule yaratadi yoki yangilaydi, uni yoʻllar uchun istisnolar bilan WAFʼda kengaytirish mumkin. Pullik tariflarda bloklangan kraulerlar 403 yoki 402 olishini tanlashingiz va oddiy matnli javob tanasini belgilashingiz mumkin.
Xatti-harakat boʻyicha: Security, soʻng Settings boʻlimiga oʻting, Bot traffic boʻyicha filtrlang va AI Crawler and Agent access policies ni oching. Cloudflare AI trafigini uchta xatti-harakatga ajratadi va har bir siyosat shu xatti-harakatli tasdiqlangan botlarga hamda mos keladigan tasdiqlanmagan botlarga qoʻllanadi:
- Search: keyinchalik savollarga javob berish uchun kontentni toʻplash yoki indekslash.
- Agent: chat orqali yuklashlar va brauzer agentlari kabi inson nomidan real vaqtda harakat qilish.
- Training: modellarni oʻqitish yoki fine-tune qilish uchun kontent toʻplash, jumladan ham oʻqitish, ham qidiruv uchun ishlatiladigan kraulerlar.
Har bir xatti-harakatni Block, Block on pages with ads yoki Allow (do not block) ga oʻrnatish mumkin. Training da Disallow ham bor, u kraulerlardan faqat robots.txt orqali soʻraydi. Bot Preference Sync yoqilganda Cloudflare robots.txt boshiga Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot va meta-externalagentni taqiqlaydigan boshqariladigan qoidalarni qoʻshadi, Content Signals qatorini qoʻshadi va AI oʻqitish kraulerlarini edgeʼda ham bloklaydi, ham qidiruv, ham oʻqitish uchun ishlatiladigan kraulerlar bundan mustasno.
AI iqtiboslarini istagan aksariyat saytlar uchun xavfsiz kombinatsiya: Search va Agent — Allow, Training — Disallow, soʻng edgeʼda toʻxtatmoqchi boʻlgan faqat oʻqitish uchun ishlaydigan kraulerlar uchun AI Crawl Controlʼda alohida Block amallari.
Cloudflareʼning AI kraulerlari uchun standart sozlamalarida nima oʻzgardi?
2025 yil 1 iyulda Cloudflare AI kraulerlari mualliflarga pul toʻlamasa, ularni standart boʻyicha bloklashga oʻtayotganini eʼlon qildi. 2026 yil 1 iyulda u yagona Block AI bots almashtirgichini yuqorida tasvirlangan alohida Search, Agent va Training siyosatlari bilan almashtirdi, Free bilan birga barcha tariflar uchun. Xuddi shu eʼlonda 2026 yil 15 sentyabrdan boshlab ulanadigan yangi domenlarda reklama koʻrsatadigan sahifalarda Training va Agent bloklangan, Search esa ruxsat berilgan boʻlishi aytilgan edi.
Cloudflareʼning 2026 yil 2 noyabrda oxirgi marta yangilangan joriy siyosat hujjatlarida yangi domenlar uchala xatti-harakat uchun standart boʻyicha Allow (do not block) ga ega ekani aytilgan. Cloudflareʼning oʻz sahifalari turli vaqtlarda turli standart sozlamalarni tasvirlagani uchun zonangiz boʻyicha ularning hech biriga tayanmang: siyosat sahifasini oching va nima oʻrnatilganini oʻqing.
Nega ruxsat berganimdan keyin ham Cloudflare AI kraulerlarini bloklayapti?
AI Crawl Controlʼdagi Allow amali faqat AI Crawl Controlʼning oʻzi bloklashini toʻxtatadi. Boshqa funksiyalar soʻrovga baribir taʼsir qiladi. Keng tarqalgan sabablar:
- Training ni bloklash ikkalasini ham bajaradigan qidiruv kraulerlarini ham bloklaydi. Cloudflare hujjatlarida Training amallari aralash maqsadli kraulerlarga qoʻllanishi aytilgan, 2026 yil iyuldagi eʼlonda esa Training ni bloklagan mijozlar 2026 yil 15 sentyabrdan boshlab bloklaydigan kraulerlar sifatida Googlebot, Applebot va bingbot nomlangan. Disallow torroq tanlov, chunki uning edgeʼdagi bloki aralash maqsadli kraulerlarni oʻtkazib yuboradi.
- Bot Fight Mode yoqilgan. Cloudflare Bot Fight Mode ni WAF custom rules yoki Page Rules bilan aylanib oʻtib boʻlmasligini aytadi. Agar u kraulerga challenge bersa, uni oʻchiring yoki tarifingizda boʻlsa, skip qoidalarini qoʻllab-quvvatlaydigan Super Bot Fight Mode dan foydalaning.
- Eskiroq WAF custom rule tarkibida
botboʻlgan user agentlarni bloklaydi yoki rate limiting qoidasi soʻrovlar toʻlqiniga 429 bilan javob beradi. Ular AI Crawl Controlʼdagi Action dan qatʼi nazar ishlaydi. - Blok qoidasi qoʻlda tahrirlangan. AI Crawl Control ortidagi WAF qoidasi boshqa javob kodiga oʻzgartirilgan boʻlsa, boshqaruv paneli tanlovingizni endi qoʻllay olmaydi.
- robots.txt kraulerni hali ham taqiqlaydi. Cloudflareʼdagi Allow robots.txt ni oʻzgartirmaydi, shuning uchun qoidaga amal qiladigan krauler baribir kirmaydi. Eng mashhur 1000 ta domen boʻyicha tadqiqotimizda robots.txt da AI oʻqitish kraulerini bloklagan 155 ta saytdan 98 tasi kamida bitta AI qidiruv yoki foydalanuvchi kraulerini ham bloklagan.
Cloudflare qaysi AI kraulerlarini oʻtkazayotganini tashqaridan qanday tasdiqlayman?
Bir xil sahifani brauzer user agenti va har bir kraulerning user agenti bilan soʻrang, soʻng holat va hajmni solishtiring. Quyidagi OpenAI, Perplexity va Google satrlari shu kompaniyalar eʼlon qilgan satrlardir.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Krauler qatorida 403, 429 yoki 503 boʻlsa yoki hajm brauzer qatoridagidan ancha kichik boʻlsa, serveringiz oldidagi nimadir boshqacha javob bergan. Free tarifida AI Crawl Control kraulerlarni user agent boʻyicha aniqlaydi, shuning uchun bu test uning bloklarini tekshirishning oqilona usuli. Tasdiqlangan bot holati yoki bot ballariga asoslangan qoidalar soʻrovingizga haqiqiy kraulerdan boshqacha munosabatda boʻlishi mumkin, chunki u operatorning eʼlon qilingan diapazonlaridan emas, sizning IP manzilingizdan keladi. Testdan keyin qaysi qoida mos kelganini koʻrish uchun Security Analyticsʼda oʻz soʻrovlaringizni toping.
AISeeWhy Cloudflare AI kraulerlariga nima yuborishini qanday tekshiradi?
AISeeWhyʼning bepul tekshiruvi sahifangizni haqiqiy brauzer bilan yonma-yon 16 ta AI va qidiruv krauleri sifatida soʻraydi, robots.txt ni har bir krauler uchun qoʻllaydi va firewall challenge sahifalarini taniydi, shunda Cloudflare panelidagi natija kraulerlar aslida oladigan narsaga mos kelishini koʻrasiz.
Bu muammo uchun tuzatishlar
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- AI kraulerlari IP tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Cloudflare AI Crawl Control bepulmi?
Ha. Cloudflare AI Crawl Control ni barcha tariflarda mavjud deb koʻrsatadi. Free tarifi kraulerlarni faqat user agent boʻyicha aniqlaydi va Metrics da soʻnggi 24 soatni koʻrsatadi; referral maʼlumotlari va maxsus blok javoblari uchun pullik tarif kerak.
Cloudflare AI Auditʼga nima boʻldi?
U qayta nomlandi. Cloudflare hujjatlari AI Crawl Control ni avvalgi AI Audit deb taʼriflaydi, maqsadi ham oʻsha: qaysi AI kraulerlari kirishini koʻrish va har biri uchun amal belgilash.
AI Crawl Controlʼda kraulerni bloklash robots.txt ni oʻzgartiradimi?
Yoʻq. Block amali WAF custom rule yaratadi yoki yangilaydi. robots.txt faqat Training uchun Disallow variantini Bot Preference Sync bilan ishlatsangiz oʻzgaradi, u Cloudflareʼning boshqariladigan qoidalarini faylingiz boshiga qoʻshadi.
Cloudflareʼda robots.txt buzilishi deb nima hisoblanadi?
AI kraulerining robots.txt taqiqlagan yoʻlga soʻrovi. Cloudflare oʻtgan soʻrovlarni joriy qoidalaringiz bilan solishtiradi, shuning uchun yangi qoida oʻz vaqtida ruxsat berilgan eski soʻrovlarni ham belgilashi mumkin.
Pay per crawl nima?
AI kraulerlaridan har bir soʻrov uchun toʻlashni soʻraydigan Charge amali, aks holda HTTP 402 va narx bilan javob beradi. Cloudflare uni yopiq beta deb taʼriflaydi, WAF yoki Bot Management bloklari undan ustun turadi.
Manbalar
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11