OAI-SearchBot bloklangan

Qisqa javob

Shu kraulerning user agenti bilan yuborilgan soʻrov rad etildi: u 4xx yoki 5xx statusini, Cloudflare cf-mitigated sarlavhasini yoki challenge sahifasini oldi, oddiy brauzer soʻrovi esa sahifani oldi. Shu user agentga mos keladigan firewall, CDN yoki bot qoidasini toping va kraulerni oʻtkazib yuboring.

access.blocked · Ustuvorlik: P1–P3, krauler turiga qarab

Bu nimani anglatadi

OAI-SearchBot user agenti bilan yuborilgan soʻrov 403 statusi yoki challenge sahifasini oldi, brauzer esa sahifani oldi. Tasdiqlanmagan IPʼdan tekshirildi: bu firewallʼingiz shu user agentga qanday munosabatda boʻlishini koʻrsatadi; tasdiqlangan IPʼlardan kelgan haqiqiy kraulerga boshqacha munosabatda boʻlishi mumkin.

Bu AI qidiruvi uchun nega muhim

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot va Perplexity-User kabi qidiruv va foydalanuvchi kraulerlari javoblar va ular ostidagi havolalarni tuzish uchun sahifalarni yuklaydi. Agar ular 403 yoki challenge sahifasini olsa, sahifa qanchalik yaxshi boʻlmasin, undan iqtibos keltirib ham, unga havola berib ham boʻlmaydi. Shuning uchun AISeeWhy bu kraulerlarning bloklanishini P1 deb baholaydi.

Oʻqitish kraulerlari (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 deb baholanadi: ularni bloklash xato emas, siyosat tanlovi. Tekshiruv tasdiqlanmagan IPʼdan yuboriladi, shuning uchun u qoidalaringiz user agentga qanday munosabatda boʻlishini koʻrsatadi; oʻzining eʼlon qilingan IP diapazonlaridan keladigan haqiqiy kraulerga boshqacha munosabatda boʻlinishi mumkin.

Qanday tuzatish kerak

  1. Qaysi krauler bloklangani, u qanday status olgani va audit qaysi WAFʼni aniqlaganini koʻrish uchun topilmani oching. AISeeWhy hisoboti dalillar va joylashtirishga tayyor tuzatishni koʻrsatadi; natijani tasdiqlash uchun keyin “Qayta tekshirish” tugmasini bosing.
  2. Cloudflareʼda bloklangan soʻrovni Security → Events boʻlimida toping, soʻng kraulerga mos keladigan (verified bots yoki uning user agent tokeni boʻyicha) WAF custom rule qoʻshing va unda qolgan custom ruleʼlar, Super Bot Fight Mode va rate limiting uchun Skip amalini tanlang. AI Crawl Control boʻlimida kraulerni Allow holatiga qoʻying.
  3. Vercel, Akamai, Imperva, Sucuri yoki AWS WAFʼda ishga tushgan bot management yoki managed ruleʼni toping va kraulerga istisno qoʻshing; uni faqat user agent boʻyicha emas, balki ishlab chiquvchi eʼlon qilgan IP diapazonlari yoki reverse DNS orqali tasdiqlagan maʼqul.
  4. nginx yoki Apacheʼda konfiguratsiyadan kraulerni nomlaydigan deny, return 403 yoki RewriteCond %{HTTP_USER_AGENT} qatorlarini qidiring, WordPressʼda esa “yomon botlar”ni bloklaydigan xavfsizlik plaginlarini tekshiring.
  5. Har bir krauler boʻyicha alohida qaror qiling: sahifalarga iqtibos keltirilishini qidiruv va foydalanuvchi kraulerlariga ruxsat berish taʼminlaydi, oʻqitish kraulerlari esa siyosatingiz shunday boʻlsa, bloklangan holda qolishi mumkin.

Namuna

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Tuzatishni qanday tasdiqlash mumkin

Oʻzgarishdan keyin hisobotda “Qayta tekshirish” tugmasini bosing: u nima tuzatilgani va ball qanday oʻzgarganini koʻrsatadi.

Sahifamni tekshirish →

Tegishli qoʻllanmalar

Barcha topilmalar va ball qanday hisoblanishi