Anthropic के क्रॉलर: ClaudeBot, Claude-SearchBot और Claude-User
Anthropic तीन एजेंट चलाती है: ClaudeBot ऐसा कंटेंट जुटाता है जो मॉडल ट्रेनिंग में लग सकता है, Claude-SearchBot Claude की सर्च सुधारने के लिए क्रॉल करता है, और Claude-User किसी उपयोगकर्ता के सवाल पर पेज फ़ेच करता है। हर एक का अपना robots.txt टोकन है, और Anthropic के अनुसार तीनों robots.txt मानते हैं। अकेले ClaudeBot को ब्लॉक करने से सर्च या यूज़र फ़ेच नहीं रुकते।
Anthropic अपने क्रॉलर एक ही हेल्प पेज पर दस्तावेज़ित करती है, और ढांचा दूसरे AI वेंडर जैसा है: एक एजेंट ट्रेनिंग के लिए, एक सर्च के लिए और एक उपयोगकर्ता की ओर से लाइव फ़ेच के लिए। अगर आप चाहते हैं कि Claude आपके पेज ढूंढकर उद्धृत कर सके, तो आख़िरी दो सबसे ज़रूरी हैं।
इस पेज पर
ClaudeBot क्या करता है?
ClaudeBot वेब कंटेंट जुटाता है जो Anthropic के जनरेटिव AI मॉडल की ट्रेनिंग में योगदान दे सकता है। Anthropic के अनुसार, इसे disallow करने से संकेत मिलता है कि आपकी साइट का भविष्य का कंटेंट ट्रेनिंग डेटासेट से बाहर रखा जाए।
Anthropic यह भी कहती है कि वह IETF ड्राफ़्ट पर आधारित मशीन-पठनीय no-AI-training सिग्नल का सम्मान करती है, और robots.txt में ClaudeBot का नाम लेने वाले नियम उस सामान्य सेटिंग पर प्राथमिकता रखते हैं। दूसरे ट्रेनिंग क्रॉलर की तरह, इसे ब्लॉक करना नीति का चुनाव है।
Claude-SearchBot क्या करता है?
Claude-SearchBot Claude में सर्च नतीजों की प्रासंगिकता और सटीकता बेहतर करने के लिए वेब क्रॉल करता है। Anthropic कहती है कि इसे ब्लॉक करने से आपका कंटेंट सर्च के लिए इंडेक्स नहीं होता, जिससे उपयोगकर्ताओं के सर्च नतीजों में आपकी दृश्यता और सटीकता घट सकती है।
अगर आप चाहते हैं कि Claude की सर्च सुविधाएं किसी के पूछने से पहले आपके पेज जानें, तो यही एजेंट allow करना है। चूंकि यह सर्च क्रॉलर है, इसे उन्हीं चीज़ों से फ़ायदा होता है जिनसे हर सर्च क्रॉलर को होता है: robots.txt में सूचीबद्ध साइटमैप, साफ़ आंतरिक लिंक, और ऐसे पेज जो पहले जवाब में ही अपना कंटेंट लौटाते हैं।
Claude-User क्या करता है?
Claude-User तब किसी वेबसाइट तक पहुंचता है जब कोई Claude उपयोगकर्ता ऐसा सवाल पूछता है जिसके लिए यह ज़रूरी हो, जैसे जब कोई URL साझा करे या Claude से कुछ ढूंढने को कहे। Anthropic कहती है कि इसे ब्लॉक करने से उपयोगकर्ता के सवालों के जवाब में फ़ेच नहीं हो पाता, जिससे उपयोगकर्ता-निर्देशित वेब सर्च में आपकी दृश्यता घट सकती है।
कुछ दूसरे वेंडर से एक फ़र्क़ ध्यान दें। Anthropic कहती है कि उसके बॉट robots.txt निर्देशों का सम्मान करते हैं, और वह Claude-User को robots.txt से ब्लॉक करना बताती है। इसके उलट OpenAI और Perplexity कहती हैं कि उनके उपयोगकर्ता-अनुरोधित फ़ेचर robots.txt का पालन न भी करें।
Claude के लिए robots.txt नियम कैसे लिखूं?
हर एजेंट का अपना टोकन है, और RFC 9309 के अनुसार क्रॉलर का नाम लेने वाला ग्रुप उस क्रॉलर के लिए * ग्रुप की जगह ले लेता है। एक आम चुनाव है सर्च और यूज़र फ़ेच को allow करना और ट्रेनिंग से बाहर रहना:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /Anthropic Crawl-delay को भी गैर-मानक एक्सटेंशन के रूप में सपोर्ट करती है, जैसे User-agent: ClaudeBot के तहत Crawl-delay: 1, अगर आप क्रॉलिंग रोकने की जगह धीमी करना चाहते हैं। नियम हर होस्ट की टॉप-लेवल डायरेक्टरी के robots.txt में होने चाहिए, इसलिए जिन सबडोमेन को कवर करना है उन सबमें जोड़ें।
Anthropic की व्यवस्था OpenAI और Perplexity से कैसे तुलना करती है?
तीनों वेंडर अलग नामों के साथ एक ही पैटर्न अपनाते हैं, जिससे साझा robots.txt के बारे में सोचना आसान होता है। मुख्य फ़र्क़ यह है कि उपयोगकर्ता के कहने पर होने वाले लाइव फ़ेच के लिए हर कोई robots.txt को कैसे लेता है।
- सर्च क्रॉलर: Anthropic के लिए
Claude-SearchBot, OpenAI के लिएOAI-SearchBot, Perplexity के लिएPerplexityBot। - ट्रेनिंग क्रॉलर: Anthropic के लिए
ClaudeBot, OpenAI के लिएGPTBot। Perplexity कहती है किPerplexityBotAI फ़ाउंडेशन मॉडल के लिए कंटेंट क्रॉल करने में इस्तेमाल नहीं होता। - यूज़र फ़ेच:
Claude-User,ChatGPT-UserऔरPerplexity-User। Anthropic कहती है कि उसके बॉट robots.txt का पालन करते हैं; OpenAI कहती है किChatGPT-Userपर robots.txt लागू न भी हो; Perplexity कहती है किPerplexity-Userउसे आम तौर पर नज़रअंदाज़ करता है।
अगर आप तीनों के लिए एक ही robots.txt लिखते हैं, तो सर्च और यूज़र टोकन एक ग्रुप में और ट्रेनिंग टोकन दूसरे में रखें। इससे नीति पढ़ने लायक रहती है और साफ़ दिखता है कि आपने हर उद्देश्य के लिए क्या चुना।
क्या मुझे Anthropic को IP एड्रेस से ब्लॉक करना चाहिए?
Anthropic इसके खिलाफ़ सलाह देती है। उसके दस्तावेज़ कहते हैं कि IP एड्रेस ब्लॉक करना ठीक से काम न करे या स्थायी रूप से opt-out की गारंटी न दे, क्योंकि इससे क्रॉलर आपका robots.txt भी नहीं पढ़ पाता। अपनी नीति बताने के लिए robots.txt इस्तेमाल करें।
Anthropic अपने क्रॉलर के IP एड्रेस claude.com/crawling/bots.json पर प्रकाशित करती है। इस सूची का उपयोगी इस्तेमाल ब्लॉक करने का उल्टा है: अपने फ़ायरवॉल को पुष्टि करने दें कि Claude-SearchBot या Claude-User होने का दावा करने वाला अनुरोध सचमुच Anthropic से आया है, और उसे अंदर आने दें।
फिर भी Claude मेरा पेज क्यों नहीं पढ़ पाएगा?
उदार robots.txt के बावजूद, आपका फ़ायरवॉल या CDN Anthropic के एजेंट को 403 या चैलेंज पेज लौटा सकता है। Anthropic कहती है कि उसके बॉट anti-circumvention तकनीकों का सम्मान करते हैं और CAPTCHA बायपास करने की कोशिश नहीं करेंगे, इसलिए चैलेंज पेज विज़िट को वहीं ख़त्म कर देता है। जिन पेजों का टेक्स्ट JavaScript चलने के बाद ही दिखता है, वे भी लगभग खाली पहुंच सकते हैं।
AISeeWhy आपका पेज ClaudeBot, Claude-SearchBot और Claude-User के रूप में ब्राउज़र के साथ मांगता है और हर एक के लिए आपके robots.txt नियम जांचता है, ताकि आप देख सकें कि आपकी लिखी नीति वही है जो आपका सर्वर लागू करता है।
अक्सर पूछे जाने वाले प्रश्न
क्या ClaudeBot ब्लॉक करने से मेरी साइट Claude के उत्तरों से हट जाती है?
अपने आप में नहीं। सर्च इंडेक्सिंग और उपयोगकर्ता के कहने पर होने वाले फ़ेच Claude-SearchBot और Claude-User इस्तेमाल करते हैं, जिनके अपने robots.txt टोकन हैं।
क्या Claude-User robots.txt का पालन करता है?
Anthropic कहती है कि उसके बॉट robots.txt का सम्मान करते हैं और वहां Claude-User को ब्लॉक करना बताती है, जिसका असर यह होता है कि Claude उपयोगकर्ता के सवालों के लिए आपके पेज नहीं ला सकता।
क्या Anthropic के क्रॉलर CAPTCHA हल करेंगे?
नहीं। Anthropic कहती है कि उसके बॉट anti-circumvention तकनीकों का सम्मान करते हैं और CAPTCHA बायपास करने की कोशिश नहीं करेंगे।
क्या मैं ClaudeBot को ब्लॉक करने की जगह धीमा कर सकता हूं?
हां। Anthropic Crawl-delay को गैर-मानक एक्सटेंशन के रूप में सपोर्ट करती है, जैसे आपके robots.txt के ClaudeBot ग्रुप में Crawl-delay: 1।
मैं कैसे सत्यापित करूं कि अनुरोध सचमुच Anthropic से आया है?
स्रोत IP को उस सूची से मिलाएं जो Anthropic claude.com/crawling/bots.json पर प्रकाशित करती है। सिर्फ़ user agent की नक़ल कोई भी कर सकता है।
स्रोत
- Anthropic: क्या Anthropic वेब से डेटा क्रॉल करती है, और साइट मालिक क्रॉलर को कैसे ब्लॉक कर सकते हैं?
- RFC 9309: Robots Exclusion Protocol