OAI-SearchBot bloklangan
Shu kraulerning user agenti bilan yuborilgan soʻrov rad etildi: u 4xx yoki 5xx statusini, Cloudflare cf-mitigated sarlavhasini yoki challenge sahifasini oldi, oddiy brauzer soʻrovi esa sahifani oldi. Shu user agentga mos keladigan firewall, CDN yoki bot qoidasini toping va kraulerni oʻtkazib yuboring.
Bu nimani anglatadi
OAI-SearchBot user agenti bilan yuborilgan soʻrov 403 statusi yoki challenge sahifasini oldi, brauzer esa sahifani oldi. Tasdiqlanmagan IPʼdan tekshirildi: bu firewallʼingiz shu user agentga qanday munosabatda boʻlishini koʻrsatadi; tasdiqlangan IPʼlardan kelgan haqiqiy kraulerga boshqacha munosabatda boʻlishi mumkin.
Bu AI qidiruvi uchun nega muhim
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot va Perplexity-User kabi qidiruv va foydalanuvchi kraulerlari javoblar va ular ostidagi havolalarni tuzish uchun sahifalarni yuklaydi. Agar ular 403 yoki challenge sahifasini olsa, sahifa qanchalik yaxshi boʻlmasin, undan iqtibos keltirib ham, unga havola berib ham boʻlmaydi. Shuning uchun AISeeWhy bu kraulerlarning bloklanishini P1 deb baholaydi.
Oʻqitish kraulerlari (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 deb baholanadi: ularni bloklash xato emas, siyosat tanlovi. Tekshiruv tasdiqlanmagan IPʼdan yuboriladi, shuning uchun u qoidalaringiz user agentga qanday munosabatda boʻlishini koʻrsatadi; oʻzining eʼlon qilingan IP diapazonlaridan keladigan haqiqiy kraulerga boshqacha munosabatda boʻlinishi mumkin.
Qanday tuzatish kerak
- Qaysi krauler bloklangani, u qanday status olgani va audit qaysi WAFʼni aniqlaganini koʻrish uchun topilmani oching. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
- Cloudflareʼda bloklangan soʻrovni Security → Events boʻlimida toping, soʻng kraulerga mos keladigan (verified bots yoki uning user agent tokeni boʻyicha) WAF custom rule qoʻshing va unda qolgan custom ruleʼlar, Super Bot Fight Mode va rate limiting uchun Skip amalini tanlang. AI Crawl Control boʻlimida kraulerni Allow holatiga qoʻying.
- Vercel, Akamai, Imperva, Sucuri yoki AWS WAFʼda ishga tushgan bot management yoki managed ruleʼni toping va kraulerga istisno qoʻshing; uni faqat user agent boʻyicha emas, balki ishlab chiquvchi eʼlon qilgan IP diapazonlari yoki reverse DNS orqali tasdiqlagan maʼqul.
- nginx yoki Apacheʼda konfiguratsiyadan kraulerni nomlaydigan
deny,return 403yokiRewriteCond %{HTTP_USER_AGENT}qatorlarini qidiring, WordPressʼda esa “yomon botlar”ni bloklaydigan xavfsizlik plaginlarini tekshiring. - Har bir krauler boʻyicha alohida qaror qiling: sahifalarga iqtibos keltirilishini qidiruv va foydalanuvchi kraulerlariga ruxsat berish taʼminlaydi, oʻqitish kraulerlari esa siyosatingiz shunday boʻlsa, bloklangan holda qolishi mumkin.
Namuna
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Tuzatishni qanday tasdiqlash mumkin
Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.
Tegishli qoʻllanmalar
- Cloudflare AI Crawl Control hisobotini qanday oʻqish va qaysi AI kraulerlari kirayotganini koʻrish mumkin
- Cloudflare AI kraulerlarini bloklayaptimi? Qanday aniqlash va tuzatish mumkin
- ChatGPT saytimni koʻra oladimi? Qanday tekshirish mumkin
- Sahifani chop etishdan oldin bajariladigan 12 ta AEO tekshiruvi (2027)
- SEO 2.0: AI qidiruv va assistentlar SEOʼni qanday oʻzgartirdi, qatlamma-qatlam