Cloudflare AI kraulerlarini bloklayaptimi? Qanday aniqlash va tuzatish mumkin

Cloudflare yoki boshqa firewall AI kraulerlariga blok bilan javob berayotganini taxminan 30 soniyada koʻring va kerakli kraulerlarni oʻtkazadigan qoidani oling.

Bepul · Roʻyxatdan oʻtmasdan · Natija 30 soniyada

403, 429 va challenge sahifalari

Brauzeringiz haqiqiy sahifani olayotganda kraulerlar blok yoki Just a moment... sahifasini olishi mumkin. Sahifangiz ikkala usulda soʻraladi va farq belgilanadi.

robots.txt va firewall

robots.txt kraulerga ruxsat bersa-yu, server uni rad etsa, hisobot ziddiyatni koʻrsatadi, shunda qaysi sozlamani oʻzgartirishni bilasiz.

Firewall nomi bilan

Javob bergan CDN yoki firewall, jumladan Cloudflare, nomi bilan koʻrsatiladi, shuning uchun qayerdan izlashni taxmin qilishingiz shart emas.

Qoʻllanadigan qoida

Har bir topilma bilan yechim ham beriladi, masalan Cloudflare qoidasi yoki allowlist qadami. Bepul tekshiruv balingizni va birinchi topilmani koʻrsatadi; toʻliq hisobot — $29, bir martalik.

Qisqa javob

Cloudflare va boshqa firewallar AI kraulerlariga 403, 429 yoki “Just a moment...” challenge sahifasi bilan javob berishi mumkin, brauzerlar esa haqiqiy sahifani oladi, hatto robots.txt kraulerga ruxsat bergan boʻlsa ham. Buni sahifani kraulerning user agenti bilan soʻrab tekshiring, soʻng AI qidiruv kraulerlariga AI Crawl Controlʼda yoki WAF skip qoidasi bilan ruxsat bering.

3 qadamda toping va tuzating

  1. Sahifani ikki marta soʻrang

    Bir marta brauzer user agenti bilan, bir marta kraulerniki bilan. Faqat kraulerga berilgan 403, 429 yoki 503, Just a moment... sahifasi yoki ancha qisqa 200 firewall bloki degani.

  2. Qidiruv kraulerlariga ruxsat bering

    Cloudflareʼda AI Crawl Controlʼni oching, Crawlers roʻyxatiga oʻting va kerakli kraulerlar, masalan OAI-SearchBot, uchun Action ustunida Allow ni tanlang.

  3. Kerak boʻlsa, boshqa himoyalarni oʻtkazib yuboring

    Agar WAF custom rule, Super Bot Fight Mode yoki rate limiting ularni hamon bloklasa, tasdiqlangan botlar uchun bu funksiyalarni oʻtkazib yuboradigan qoidani birinchi qilib qoʻying. User agent mosligidan koʻra verified bot maydoni yoki provayder eʼlon qilgan IP diapazonlarini afzal koʻring.

Koʻp beriladigan savollar

Cloudflareʼning qayerida qaysi AI kraulerlari bloklanganini koʻrsam boʻladi?

Cloudflare boshqaruv panelida AI Crawl Control ni oching. Undagi kraulerlar roʻyxati Cloudflare domeningizda koʻrgan har bir AI kraulerini, u qancha soʻrov yuborganini va amali Allow yoki Block ekanini koʻrsatadi, amalni shu yerning oʻzida oʻzgartirish mumkin. Bot Fight Mode kabi boshqa funksiyalar siz ruxsat bergan kraulerni baribir bloklashi mumkin, shuning uchun natijani kraulerning user agenti bilan yuborilgan soʻrov orqali tasdiqlang.

Cloudflare AI kraulerlarini standart boʻyicha bloklaydimi?

Bu hisobingiz, tarifingiz va zonangizdagi sozlamalarga bogʻliq, Cloudflare esa bu variantlarni vaqt oʻtishi bilan oʻzgartirib kelgan. Taxmin qilish oʻrniga AI Crawl Control va bot sozlamalaringizni tekshiring hamda kraulerning user agenti bilan sinab koʻring.

Nega saytim brauzerda ishlaydi-yu, kraulerlar uchun ishlamaydi?

Firewallar har bir soʻrovni baholaydi. Brauzer JavaScript challengeʼlaridan oʻtadi va cookieʼlarni saqlaydi; krauler esa yoʻq, shuning uchun u siz hech qachon koʻrmaydigan challenge sahifasi yoki 403 olishi mumkin.

AI kraulerlarini WAF orqali oʻtkazib yuborish xavfsizmi?

Nomlangan kraulerga ruxsat berish, agar uni ishlab chiquvchining IP diapazonlari yoki Cloudflareʼning tasdiqlangan bot signali orqali tasdiqlasangiz, kam xavfli. Faqat user agentga ishonadigan qoidalar uni nusxalagan har kimni ham kiritadi.

Cloudflareʼning email yashirish funksiyasi AI kraulerlariga taʼsir qiladimi?

U email manzillarni faqat skript ochadigan havola bilan almashtiradi, shuning uchun kraulerlar manzil oʻrniga zaglushkani koʻradi. Aloqa emailingiz oʻqiladigan boʻlishini istasangiz, Scrape Shield ostidagi Email Address Obfuscationʼni oʻchiring va manzilni oddiy matn sifatida koʻrsating.

Toʻliq qoʻllanmani oʻqing

Botlardan himoya skreperlar va suiisteʼmolni toʻxtatish uchun mavjud va u buni yaxshi bajaradi. Muammo shundaki, AI qidiruv kraulerlari ham bot. Yillar oldin yoqilgan xavfsizlik sozlamasi, rate limit yoki notanish user agentlarga qarshi keng qoida sizga iqtibos keltiradigan kraulerlarni jimgina chetda qoldirishi mumkin, oʻz tashriflaringiz esa mutlaqo odatdagidek koʻrinadi.

Nega firewall AI kraulerlarini bloklaydi?

Firewallar har bir soʻrovni baholaydi. Krauler JavaScript challengeʼlarini bajarmaydi, brauzer kabi cookieʼlarni saqlamaydi va koʻpincha ketma-ket koʻp sahifalarni soʻraydi, shuning uchun u botlardan himoya toʻxtatish uchun yaratilgan trafikning aynan oʻziga oʻxshashi mumkin. Odatiy sabablar:

  • Maʼlum bot naqshlariga mos keladigan trafikka challenge koʻrsatadigan botlardan himoya funksiyalari. Masalan, Cloudflareʼning Bot Fight Mode funksiyasi botlarga hisoblash jihatidan qimmat challengeʼlar beradi.
  • “bot” yoki “crawler” kabi soʻzlar bor user agentlarni bloklaydigan yoki ularga challenge koʻrsatadigan, yoxud faqat qidiruv tizimlarining qisqa roʻyxatiga ruxsat beradigan WAF custom ruleʼlar.
  • AI kraulerlarini toifa sifatida bloklaydigan sozlamalar. Cloudflare Search, Agent va Training kraulerlari uchun siyosat belgilash imkonini beradi va u yerdagi Block sozlamasi ularning barchasiga qoʻllanadi.
  • Kraulerning tez ketma-ket soʻrovlariga 429 bilan javob beradigan rate limiting.
  • Kraulerlar ishlaydigan tarmoqlarni tasodifan qamrab oladigan mamlakat yoki ASN boʻyicha bloklashlar.

Firewall bloklashini robots.txt bloklashidan qanday farqlayman?

robots.txt bloklashi — xushmuomala iltimos: krauler qoidalaringizni oʻqiydi va sahifani yuklamaydi. Firewall bloklashi — javob: krauler sahifani soʻraydi va boshqa narsa oladi. Ikkinchi turini bevosita koʻrishingiz mumkin. Sahifani ikki marta soʻrang — bir marta brauzer user agenti bilan, bir marta krauler user agenti bilan — va solishtiring.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Firewall bloklashi belgilari: faqat krauler uchun 403, 429 yoki 503 statusi; Just a moment... yoki Attention Required! | Cloudflare sarlavhali sahifa; /cdn-cgi/challenge-platform bor javob yoki brauzernikidan ancha qisqa 200 javobi. Testingiz kraulerning tasdiqlangan IP diapazonidan emas, oʻz IP manzilingizdan kelishini yodda tuting, shuning uchun u firewall user agentga qanday munosabatda boʻlishini koʻrsatadi, haqiqiy kraulerga munosabatining har bir tafsilotini emas.

Cloudflareʼda AI qidiruv kraulerlariga qanday ruxsat beraman?

Barcha tariflarda mavjud Cloudflare AI Crawl Control domeningizga kiradigan AI kraulerlarini roʻyxatlaydi va har biri uchun amal belgilash imkonini beradi. Dashboardʼda AI Crawl Controlʼni oching, Crawlers roʻyxatiga oʻting va har bir krauler uchun Action ustunida Allow yoki Blockʼni tanlang. Cloudflare aytishicha, u yerda bloklash zonangizda WAF custom ruleʼni yaratadi yoki yangilaydi.

Agar kraulerni WAF custom rule, Super Bot Fight Mode yoki rate limiting bloklayotgan boʻlsa, tasdiqlangan botlar va kraulerning tokeni uchun bu funksiyalarni oʻtkazib yuboradigan custom rule qoʻshing:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Qoidani birinchi oʻringa qoʻying. Eʼtibor bering: user agent boʻyicha moslash oʻsha user agentni soxtalashtirgan har kimni ham oʻtkazib yuboradi. Imkon boʻlsa, tasdiqlangan bot maydoni (cf.client.bot) yoki ishlab chiquvchi eʼlon qilgan IP diapazonlarini afzal koʻring.

Bot Fight Mode-chi?

Cloudflare hujjatlarida Bot Fight Modeʼni WAF custom ruleʼlar yoki Page Rules bilan chetlab oʻtib yoki oʻtkazib yuborib boʻlmasligi aniq aytilgan. Agar kraulerlarga challenge koʻrsatayotgan funksiya shu boʻlsa, skip qoidasi yordam bermaydi. Variantlar: Bot Fight Modeʼni oʻchirish yoki u mavjud tarifda Ruleset Engine asosida ishlaydigan va skip qoidalarini qoʻllab-quvvatlaydigan Super Bot Fight Modeʼdan foydalanish.

Qaysi kraulerlarni oʻtkazib yuborishim kerak?

Kraulerlarni ular nima qilishiga qarab ajrating. Qidiruv va foydalanuvchi soʻrovi kraulerlari AI javoblari sizni topishi va sizga iqtibos keltira olishini hal qiladi. Oʻqitish kraulerlari modellar uchun maʼlumot toʻplaydi va ularni bloklash sizni AI qidiruvidan olib tashlamaydigan qonuniy tanlov.

  • Qidiruv: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Foydalanuvchi soʻrovlari: ChatGPT-User, Claude-User, Perplexity-User.
  • Oʻqitish: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflareʼning oʻz siyosat sozlamalari ham xuddi shunday Search, Agent va Training boʻlinishidan foydalanadi, shuning uchun birinchi ikkitasiga ruxsat berib, uchinchisi haqida alohida qaror qilishingiz mumkin. Boshqa firewall yoki CDNʼdan foydalansangiz, tamoyil bir xil: kraulerning tokenini allowlistʼga qoʻshing, imkon boʻlsa uni ishlab chiquvchi eʼlon qilgan IP diapazonlari yoki reverse DNS orqali tasdiqlang, shunda u brauzer bilan bir xil javob oladi.

AISeeWhy firewall bloklashlarini qanday aniqlaydi?

AISeeWhy sahifangizni 14 ta krauler va oddiy brauzer sifatida soʻraydi, status, hajm va yoʻnaltirishlarni solishtiradi, challenge sahifalarini aniqlaydi va javob bergan firewall yoki CDNʼni nomi bilan koʻrsatadi. robots.txt kraulerga ruxsat bersa-yu, server uni bloklasa, hisobot bu ziddiyatni koʻrsatadi va uni tuzatish uchun Cloudflare qoidasi yoki allowlist qadamini beradi.

Bu muammo uchun tuzatishlar

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Manbalar

Boshqa maqolalar

Eʼlon qilingan · Yangilangan