OAI-SearchBot ब्लक गरिएको छ
यो क्रलरको user agent सहित पठाइएको अनुरोध अस्वीकार भयो: यसले 4xx वा 5xx स्थिति, Cloudflare को cf-mitigated हेडर वा च्यालेन्ज पेज पायो, जबकि सामान्य ब्राउजरको अनुरोधले पेज पायो। user agent सँग मेल खाने फायरवाल, CDN वा बट नियम पत्ता लगाउनुहोस् र क्रलरलाई भित्र आउन दिनुहोस्।
यसको अर्थ
OAI-SearchBot user agent भएको अनुरोधले स्थिति 403 वा च्यालेन्ज पेज पायो, जबकि ब्राउजरले पेज पायो। अप्रमाणित IP बाट परीक्षण गरिएको: यसले तपाईंको फायरवालले यो user agent लाई कसरी व्यवहार गर्छ देखाउँछ; आफ्ना प्रमाणित IP बाट आउने वास्तविक क्रलरलाई फरक व्यवहार हुन सक्छ।
AI सर्चका लागि यो किन महत्त्वपूर्ण छ
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot र Perplexity-User जस्ता सर्च र प्रयोगकर्ता क्रलरले उत्तर र तिनमुनिका लिंक बनाउन पेज ल्याउँछन्। तिनले 403 वा च्यालेन्ज पेज पाए भने पेज जतिसुकै राम्रो भए पनि उद्धृत वा लिंक हुन सक्दैन। त्यसैले AISeeWhy ले यी क्रलरको ब्लकलाई P1 मान्छ।
ट्रेनिङ क्रलर (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) लाई P3 मानिन्छ: तिनलाई ब्लक गर्नु त्रुटि होइन, नीतिगत निर्णय हो। परीक्षण अनुरोध प्रमाणित नगरिएको IP बाट चल्छ, त्यसैले यसले तपाईंका नियमले user agent लाई कसरी व्यवहार गर्छन् देखाउँछ; आफ्नो प्रकाशित IP दायराबाट आउने वास्तविक क्रलरलाई फरक व्यवहार हुन सक्छ।
यसलाई कसरी सच्याउने
- कुन क्रलर ब्लक भयो, त्यसले कुन स्थिति पायो र अडिटले कुन WAF पत्ता लगायो हेर्न निष्कर्ष खोल्नुहोस्। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।
- Cloudflare मा ब्लक भएको अनुरोधका लागि Security → Events हेर्नुहोस्, त्यसपछि क्रलरसँग मेल खाने (verified bots वा यसको user agent टोकन) WAF custom rule थप्नुहोस्, जसको action बाँकी custom rules, Super Bot Fight Mode र rate limiting का लागि Skip होस्। AI Crawl Control मा क्रलरलाई Allow मा राख्नुहोस्।
- Vercel, Akamai, Imperva, Sucuri वा AWS WAF मा सक्रिय भएको bot management वा managed rule पत्ता लगाउनुहोस् र क्रलरका लागि अपवाद थप्नुहोस्, सम्भव भए user agent मात्र होइन, सञ्चालकले प्रकाशित गरेका IP दायरा वा reverse DNS बाट प्रमाणित गरेर।
- nginx वा Apache मा क्रलरको नाम भएका
deny,return 403वाRewriteCond %{HTTP_USER_AGENT}लाइनहरू कन्फिगमा खोज्नुहोस्, र WordPress मा "खराब बट" ब्लक गर्ने सुरक्षा प्लगइन जाँच्नुहोस्। - हरेक क्रलरका लागि छुट्टै निर्णय गर्नुहोस्: सर्च र प्रयोगकर्ता क्रलरलाई अनुमति दिँदा पेज उद्धृत हुन्छन्, जबकि तपाईंको नीति त्यही हो भने ट्रेनिङ क्रलर ब्लक नै रहन सक्छन्।
उदाहरण
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting समाधान कसरी पुष्टि गर्ने
परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।
सम्बन्धित गाइड
- Cloudflare को AI Crawl Control रिपोर्ट कसरी पढ्ने र कुन AI क्रलर भित्र आउँछन् कसरी हेर्ने
- के Cloudflare ले AI क्रलर ब्लक गरिरहेको छ? कसरी पत्ता लगाउने र सच्याउने
- के ChatGPT ले मेरो वेबसाइट देख्न सक्छ? कसरी जाँच्ने
- पेज प्रकाशित गर्नुअघि गर्नुपर्ने 12 AEO जाँच (2027)
- SEO 2.0: AI सर्च र सहायकले SEO कसरी बदले, तह-तह गरी