OAI-SearchBot ब्लॉक आहे

छोटे उत्तर

या क्रॉलरच्या युजर एजंटसह पाठवलेली विनंती नाकारली गेली: तिला 4xx किंवा 5xx स्टेटस, Cloudflare चा cf-mitigated हेडर किंवा चॅलेंज पेज मिळाले, तर सामान्य ब्राउझर विनंतीला पेज मिळाले. युजर एजंटशी जुळणारा फायरवॉल, CDN किंवा बॉट नियम शोधा आणि क्रॉलरला आत येऊ द्या.

access.blocked · प्राधान्य: P1–P3, क्रॉलरच्या प्रकारानुसार

याचा अर्थ काय

OAI-SearchBot युजर एजंटसह केलेल्या विनंतीला स्टेटस 403 किंवा चॅलेंज पेज मिळाले, तर ब्राउझरला पेज मिळाले. हे पडताळणी न झालेल्या IP वरून तपासले आहे: तुमची फायरवॉल या युजर एजंटशी कशी वागते ते यातून दिसते; पडताळलेल्या IP वरून येणाऱ्या खऱ्या क्रॉलरशी वेगळे वर्तन होऊ शकते.

AI सर्चसाठी हे का महत्त्वाचे आहे

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot आणि Perplexity-User सारखे सर्च आणि युजर क्रॉलर उत्तरे आणि त्याखालील लिंक तयार करण्यासाठी पेजेस मिळवतात. त्यांना 403 किंवा चॅलेंज पेज मिळाल्यास, पेज कितीही चांगले असले तरी ते उद्धृत किंवा लिंक केले जाऊ शकत नाही. म्हणूनच AISeeWhy या क्रॉलरच्या ब्लॉकला P1 रेटिंग देते.

ट्रेनिंग क्रॉलरना (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 रेटिंग दिले जाते: त्यांना ब्लॉक करणे हा धोरणात्मक निर्णय आहे, चूक नाही. चाचणी पडताळणी न झालेल्या IP वरून चालते, त्यामुळे तुमचे नियम युजर एजंटशी कसे वागतात ते त्यातून दिसते; त्याच्या प्रकाशित IP रेंजमधून येणाऱ्या खऱ्या क्रॉलरशी वेगळे वागले जाऊ शकते.

हे कसे दुरुस्त करावे

  1. कोणता क्रॉलर ब्लॉक झाला, त्याला कोणते स्टेटस मिळाले आणि ऑडिटने कोणता WAF ओळखला हे पाहण्यासाठी निष्कर्ष उघडा. AISeeWhy अहवाल पुरावा आणि पेस्ट करण्यासाठी तयार उपाय दाखवतो; त्यानंतर निकालाची खात्री करण्यासाठी "पुन्हा तपासा" चालवा.
  2. Cloudflare वर ब्लॉक झालेल्या विनंतीसाठी Security → Events तपासा, मग क्रॉलरशी जुळणारा (verified bots किंवा त्याचा युजर एजंट टोकन) WAF custom rule जोडा, ज्याची action उरलेले custom rules, Super Bot Fight Mode आणि rate limiting साठी Skip असेल. AI Crawl Control मध्ये क्रॉलर Allow वर सेट करा.
  3. Vercel, Akamai, Imperva, Sucuri किंवा AWS WAF वर, लागू झालेला bot management किंवा managed rule शोधा आणि क्रॉलरसाठी अपवाद जोडा, शक्यतो फक्त युजर एजंटऐवजी विक्रेत्याच्या प्रकाशित IP रेंज किंवा reverse DNS ने पडताळलेला.
  4. nginx किंवा Apache वर, क्रॉलरचे नाव असलेल्या deny, return 403 किंवा RewriteCond %{HTTP_USER_AGENT} ओळी कॉन्फिगमध्ये शोधा, आणि WordPress मध्ये "bad bots" ब्लॉक करणारे सिक्युरिटी प्लगइन तपासा.
  5. प्रत्येक क्रॉलरसाठी स्वतंत्र निर्णय घ्या: सर्च आणि युजर क्रॉलरना परवानगी दिल्यानेच पेजेसचा संदर्भ दिला जातो, तर तुमचे धोरण तसे असल्यास ट्रेनिंग क्रॉलर ब्लॉक राहू शकतात.

उदाहरण

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

उपाय काम करतो याची खात्री कशी करायची

बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.

माझे पेज तपासा →

संबंधित मार्गदर्शक

सर्व निष्कर्ष आणि स्कोअर कसा ठरतो