Claude-SearchBot
Claude-SearchBot ले Claude मा सर्च नतिजाको सान्दर्भिकता र शुद्धता सुधार्न वेब क्रल गर्छ। Anthropic भन्छ, यसलाई ब्लक गर्दा तपाईंको सामग्री सर्चका लागि इन्डेक्स हुन पाउँदैन, जसले प्रयोगकर्ताका सर्च नतिजामा तपाईंको देखिने क्षमता र शुद्धता घटाउन सक्छ। Claude ले तपाईंका पेज भेटोस् र उद्धृत गरोस् भन्ने चाहनुहुन्छ भने यसलाई अनुमति दिनुहोस्।
यसलाई कसरी अनुमति दिने
User-agent: Claude-SearchBot
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: Claude-SearchBot
Disallow: / यसले के गर्छ
Anthropic ले वेबमा घुम्न र Claude प्रयोगकर्ताका लागि सर्च नतिजाको गुणस्तर सुधार्न Claude-SearchBot प्रयोग गर्छ। यो ट्रेनिङ क्रलर ClaudeBot भन्दा छुट्टै छ, त्यसैले तपाईं ट्रेनिङबाट बाहिरिँदै सर्चलाई अनुमति दिन सक्नुहुन्छ।
Anthropic भन्छ, Claude-SearchBot बन्द गर्दा सर्च अनुकूलनका लागि तपाईंको सामग्री इन्डेक्स हुन पाउँदैन, जसले प्रयोगकर्ताका सर्च नतिजामा तपाईंको साइटको देखिने क्षमता र शुद्धता घटाउन सक्छ। Anthropic का बटले robots.txt पालना गर्छन् र छल्ने विरुद्धका उपाय सम्मान गर्छन्, त्यसैले CAPTCHA वा च्यालेन्ज पेजले भ्रमण अन्त्य गर्छ।
हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 12.9% ले यसलाई ब्लक गरेका थिए। →
robots.txt टोकन
Claude-SearchBot
वास्तविक भ्रमण कसरी प्रमाणित गर्ने
Anthropic ले आफ्ना क्रलरका IP ठेगाना claude.com/crawling/bots.json मा प्रकाशित गर्छ र त्यो सूचीमा IP भएको क्रलर Anthropic बाट आएको भन्छ। user agent मा भर पर्नुको सट्टा स्रोत IP लाई सूचीसँग मिलाउनुहोस्। Anthropic ले बाहिरिन IP ब्लक प्रयोग नगर्न सल्लाह दिन्छ, किनभने यसले क्रलरलाई robots.txt पढ्नबाट पनि रोक्छ।
तपाईंको साइटले यसलाई भित्र आउन दिन्छ कि जाँच्नुहोस् →
Anthropic का क्रलर: ClaudeBot, Claude-SearchBot र Claude-User →