ClaudeBot
ClaudeBot Anthropic का क्रॉलर है, जो ऐसे वेब कंटेंट के लिए है जिसका उपयोग उसके जनरेटिव AI मॉडलों की ट्रेनिंग में हो सकता है। robots.txt में इसे डिसअलाउ करने से संकेत मिलता है कि आपकी साइट का भावी कंटेंट ट्रेनिंग से बाहर रखा जाए। सिर्फ़ इसे ब्लॉक करने से Claude-SearchBot और Claude-User नहीं रुकते, जो सर्च और लाइव जवाबों के लिए हैं।
यह क्या करता है
Anthropic के अनुसार ClaudeBot ऐसा वेब कंटेंट इकट्ठा करता है जो उसके मॉडलों की ट्रेनिंग में योगदान दे सकता है, ताकि उनकी उपयोगिता और सुरक्षा बेहतर हो। ClaudeBot को डिसअलाउ करने से संकेत मिलता है कि आपकी साइट की भावी सामग्री ट्रेनिंग डेटासेट से बाहर रखी जाए।
Anthropic गैर-मानक Crawl-delay निर्देश का भी समर्थन करती है, इसलिए आप ClaudeBot को ब्लॉक करने के बजाय धीमा कर सकते हैं। robots.txt में ClaudeBot का नाम लेने वाले नियम Anthropic के सामान्य AI-ट्रेनिंग-निषेध संकेत पर प्राथमिकता रखते हैं। robots.txt के नियम हर होस्ट पर अलग से लागू होते हैं, इसलिए उन्हें हर उस सबडोमेन में जोड़ें जिसे आप कवर करना चाहते हैं।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 21.2% ने इसे ब्लॉक किया था। →
robots.txt टोकन
ClaudeBot
इसे अनुमति कैसे दें
User-agent: ClaudeBot
Allow: /इसे ब्लॉक कैसे करें
User-agent: ClaudeBot
Disallow: /असली विज़िट कैसे सत्यापित करें
Anthropic अपने क्रॉलरों के IP पते claude.com/crawling/bots.json पर प्रकाशित करती है और बताती है कि जिस क्रॉलर का IP इस सूची में है, वह Anthropic का है। user agent पर भरोसा करने के बजाय स्रोत IP की तुलना सूची से करें। Anthropic ऑप्ट-आउट के लिए IP ब्लॉकिंग का उपयोग न करने की सलाह देती है, क्योंकि इससे क्रॉलर robots.txt भी नहीं पढ़ पाता।
जाँचें कि आपकी साइट इसे अंदर आने देती है या नहीं →
Anthropic के क्रॉलर: ClaudeBot, Claude-SearchBot और Claude-User →