Claude-SearchBot
Claude-SearchBot वेब क्रॉल करता है ताकि Claude में सर्च नतीजों की प्रासंगिकता और सटीकता बेहतर हो। Anthropic के अनुसार इसे ब्लॉक करने से आपका कंटेंट सर्च के लिए इंडेक्स नहीं होता, जिससे उपयोगकर्ताओं के सर्च नतीजों में आपकी दृश्यता और सटीकता घट सकती है। अगर आप चाहते हैं कि Claude आपके पेज खोजे और उनका हवाला दे, तो इसे अनुमति दें।
यह क्या करता है
Anthropic, Claude-SearchBot का उपयोग वेब में घूमने और Claude के उपयोगकर्ताओं के लिए सर्च नतीजों की गुणवत्ता सुधारने के लिए करती है। यह ट्रेनिंग क्रॉलर ClaudeBot से अलग है, इसलिए आप सर्च की अनुमति देकर भी ट्रेनिंग से ऑप्ट-आउट कर सकते हैं।
Anthropic के अनुसार Claude-SearchBot को बंद करने से सर्च ऑप्टिमाइज़ेशन के लिए आपके कंटेंट का इंडेक्सिंग रुक जाता है, जिससे उपयोगकर्ताओं के सर्च नतीजों में आपकी साइट की दृश्यता और सटीकता घट सकती है। Anthropic के बॉट robots.txt और एंटी-सर्कमवेंशन उपायों का सम्मान करते हैं, इसलिए CAPTCHA या चैलेंज पेज आने पर विज़िट समाप्त हो जाती है।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 12.9% ने इसे ब्लॉक किया था। →
robots.txt टोकन
Claude-SearchBot
इसे अनुमति कैसे दें
User-agent: Claude-SearchBot
Allow: /इसे ब्लॉक कैसे करें
User-agent: Claude-SearchBot
Disallow: /असली विज़िट कैसे सत्यापित करें
Anthropic अपने क्रॉलरों के IP पते claude.com/crawling/bots.json पर प्रकाशित करती है और बताती है कि जिस क्रॉलर का IP इस सूची में है, वह Anthropic का है। user agent पर भरोसा करने के बजाय स्रोत IP की तुलना सूची से करें। Anthropic ऑप्ट-आउट के लिए IP ब्लॉकिंग का उपयोग न करने की सलाह देती है, क्योंकि इससे क्रॉलर robots.txt भी नहीं पढ़ पाता।
जाँचें कि आपकी साइट इसे अंदर आने देती है या नहीं →
Anthropic के क्रॉलर: ClaudeBot, Claude-SearchBot और Claude-User →