Anthropic का क्रलर: ClaudeBot, Claude-SearchBot र Claude-User

प्रकाशित

छोटो उत्तर

Anthropic ले तीन एजेन्ट चलाउँछ: ClaudeBot ले यसका मोडेल ट्रेन गर्न प्रयोग हुन सक्ने सामग्री सङ्कलन गर्छ, Claude-SearchBot ले Claude का सर्च नतिजा सुधार्न क्रल गर्छ, र Claude-User ले Claude प्रयोगकर्ताको प्रश्नलाई चाहिँदा पेज ल्याउँछ। प्रत्येकको आफ्नै robots.txt टोकन छ, र Anthropic भन्छ तीनवटैले robots.txt पालना गर्छन्। ClaudeBot मात्र ब्लक गर्दा सर्च वा प्रयोगकर्ताका लागि ल्याउने काम रोकिँदैन।

Anthropic ले आफ्ना क्रलरको कागजात एउटै सहायता पेजमा दिन्छ, र संरचना अन्य AI कम्पनीकै जस्तो छ: ट्रेनिङका लागि एउटा एजेन्ट, सर्चका लागि एउटा र प्रयोगकर्ताका तर्फबाट लाइभ ल्याउन एउटा। Claude ले तपाईंका पेज भेट्टाउन र उद्धृत गर्न सकोस् भन्ने चाहनुहुन्छ भने पछिल्ला दुई सबैभन्दा महत्त्वपूर्ण छन्।

यस पेजमा
  1. ClaudeBot ले के गर्छ?
  2. Claude-SearchBot ले के गर्छ?
  3. Claude-User ले के गर्छ?
  4. Claude का लागि robots.txt नियम कसरी लेख्ने?
  5. Anthropic को व्यवस्था OpenAI र Perplexity सँग कसरी तुलना हुन्छ?
  6. के मैले Anthropic लाई IP ठेगानाबाट ब्लक गर्नुपर्छ?
  7. Claude ले अझै पनि मेरो पेज किन पढ्न सक्दैन?

ClaudeBot ले के गर्छ?

ClaudeBot ले Anthropic का generative AI मोडेलको ट्रेनिङमा योगदान दिन सक्ने वेब सामग्री सङ्कलन गर्छ। Anthropic अनुसार यसलाई निषेध गर्नुले तपाईंको साइटको भविष्यको सामग्री ट्रेनिङ डेटासेटबाट बाहिर राखियोस् भन्ने सङ्केत दिन्छ।

Anthropic यो पनि भन्छ कि यसले IETF मस्यौदामा आधारित machine-readable no-AI-training सङ्केत पालना गर्छ, र robots.txt मा ClaudeBot नाम लिने नियमले त्यो सामान्य सेटिङभन्दा प्राथमिकता पाउँछन्। अन्य ट्रेनिङ क्रलर जस्तै, यसलाई ब्लक गर्नु नीतिगत छनोट हो।

Claude-SearchBot ले के गर्छ?

Claude-SearchBot ले Claude मा सर्च नतिजाको सान्दर्भिकता र शुद्धता सुधार्न वेब क्रल गर्छ। Anthropic भन्छ यसलाई ब्लक गर्दा तपाईंको सामग्री सर्चका लागि इन्डेक्स हुनबाट रोकिन्छ, जसले प्रयोगकर्ताका सर्च नतिजामा तपाईंको उपस्थिति र शुद्धता घटाउन सक्छ।

कसैले सोध्नुअघि नै Claude का सर्च सुविधालाई तपाईंका पेजबारे थाहा होस् भन्ने चाहनुहुन्छ भने अनुमति दिनुपर्ने एजेन्ट यही हो। यो सर्च क्रलर भएकाले कुनै पनि सर्च क्रलरलाई फाइदा गर्ने कुराबाट यसलाई पनि फाइदा हुन्छ: robots.txt मा सूचीबद्ध sitemap, सफा आन्तरिक लिंक, र पहिलो प्रतिक्रियामै सामग्री फर्काउने पेज।

Claude-User ले के गर्छ?

Claude प्रयोगकर्ताले वेबसाइट चाहिने प्रश्न सोध्दा Claude-User ले त्यो साइट खोल्छ, जस्तै कसैले URL साझा गर्दा वा Claude लाई केही खोज्न भन्दा। Anthropic भन्छ यसलाई ब्लक गर्दा प्रयोगकर्ताका प्रश्नको जवाफमा सामग्री ल्याउन रोकिन्छ, जसले प्रयोगकर्ताले चलाउने वेब सर्चमा तपाईंको उपस्थिति घटाउन सक्छ।

केही अन्य कम्पनीसँगको फरक ध्यान दिनुहोस्। Anthropic भन्छ यसका बटले robots.txt का निर्देशन पालना गर्छन्, र यसले robots.txt मार्फत Claude-User ब्लक गर्ने तरिका वर्णन गर्छ। यसको विपरीत, OpenAI र Perplexity भन्छन् प्रयोगकर्ताले माग्दा ल्याउने तिनका फेचरले robots.txt पालना नगर्न सक्छन्।

Claude का लागि robots.txt नियम कसरी लेख्ने?

हरेक एजेन्टको आफ्नै टोकन छ, र RFC 9309 अनुसार क्रलरको नाम लिने समूहले त्यो क्रलरका लागि * समूहलाई प्रतिस्थापन गर्छ। सामान्य छनोट भनेको सर्च र प्रयोगकर्ताका लागि ल्याउने कामलाई अनुमति दिने र ट्रेनिङबाट opt-out गर्ने हो:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic ले Crawl-delay लाई गैर-मानक विस्तारका रूपमा पनि समर्थन गर्छ, जस्तै User-agent: ClaudeBot मुनि Crawl-delay: 1, यदि तपाईं ब्लक गर्नुको सट्टा क्रलिङ ढिलो गर्न चाहनुहुन्छ भने। नियम हरेक host को शीर्ष डाइरेक्टरीको robots.txt मा हुनुपर्छ, त्यसैले समेट्न चाहेका हरेक सबडोमेनमा थप्नुहोस्।

Anthropic को व्यवस्था OpenAI र Perplexity सँग कसरी तुलना हुन्छ?

तीनवटै कम्पनीले फरक नाममा उही ढाँचा पछ्याउँछन्, जसले साझा robots.txt बारे सोच्न सजिलो बनाउँछ। मुख्य फरक भनेको प्रयोगकर्ताको अनुरोधमा हुने लाइभ ल्याउने काममा प्रत्येकले robots.txt लाई कसरी व्यवहार गर्छ भन्ने हो।

तीनवटैका लागि एउटै robots.txt लेख्नुहुन्छ भने सर्च र प्रयोगकर्ता टोकन एउटा समूहमा र ट्रेनिङ टोकन अर्कोमा राख्नुहोस्। यसले नीति पढ्न सजिलो राख्छ र हरेक उद्देश्यका लागि तपाईंले के छनोट गर्नुभयो स्पष्ट देखाउँछ।

के मैले Anthropic लाई IP ठेगानाबाट ब्लक गर्नुपर्छ?

Anthropic यसको विरुद्ध सल्लाह दिन्छ। यसको कागजात भन्छ IP ठेगाना ब्लक गर्दा सही रूपमा काम नगर्न वा opt-out को स्थायी ग्यारेन्टी नदिन सक्छ, किनभने यसले क्रलरलाई तपाईंको robots.txt पढ्नबाट पनि रोक्छ। आफ्नो नीति बताउन robots.txt प्रयोग गर्नुहोस्।

Anthropic ले आफ्ना क्रलरका IP ठेगाना claude.com/crawling/bots.json मा प्रकाशित गर्छ। त्यो सूचीको उपयोगी प्रयोग ब्लक गर्नुको उल्टो हो: आफूलाई Claude-SearchBot वा Claude-User भन्ने अनुरोध साँच्चै Anthropic बाटै आएको हो भनी तपाईंको फायरवाललाई प्रमाणित गर्न दिनुहोस्, र त्यसलाई पास गर्नुहोस्।

Claude ले अझै पनि मेरो पेज किन पढ्न सक्दैन?

robots.txt ले अनुमति दिँदा पनि तपाईंको फायरवाल वा CDN ले Anthropic का एजेन्टलाई 403 वा च्यालेन्ज पेज दिन सक्छ। Anthropic भन्छ यसका बटले छल-विरोधी प्रविधिको सम्मान गर्छन् र CAPTCHA बाइपास गर्ने प्रयास गर्दैनन्, त्यसैले च्यालेन्ज पेजले भ्रमण त्यहीँ टुङ्ग्याउँछ। JavaScript चलेपछि मात्र पाठ देखिने पेज पनि लगभग खाली आइपुग्न सक्छन्।

AISeeWhy ले तपाईंको पेज ब्राउजरसँगै ClaudeBot, Claude-SearchBot र Claude-User का रूपमा माग्छ र प्रत्येकका लागि तपाईंका robots.txt नियम जाँच्छ, ताकि तपाईंले लेखेको नीति नै तपाईंको सर्भरले लागू गर्छ कि गर्दैन देख्न सक्नुहोस्।

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

के ClaudeBot ब्लक गर्दा मेरो साइट Claude का उत्तरबाट हट्छ?

एक्लैले हट्दैन। सर्च इन्डेक्सिङ र प्रयोगकर्ताले माग्ने ल्याउने कामले Claude-SearchBot र Claude-User प्रयोग गर्छन्, जसका आफ्नै robots.txt टोकन छन्।

के Claude-User ले robots.txt पालना गर्छ?

Anthropic भन्छ यसका बटले robots.txt पालना गर्छन् र त्यहाँ Claude-User ब्लक गर्ने तरिका वर्णन गर्छ, जसको प्रभाव यो हुन्छ कि Claude ले प्रयोगकर्ताका प्रश्नका लागि तपाईंका पेज ल्याउन सक्दैन।

के Anthropic का क्रलरले CAPTCHA समाधान गर्छन्?

गर्दैनन्। Anthropic भन्छ यसका बटले छल-विरोधी प्रविधिको सम्मान गर्छन् र CAPTCHA बाइपास गर्ने प्रयास गर्दैनन्।

के म ClaudeBot लाई ब्लक गर्नुको सट्टा ढिलो बनाउन सक्छु?

सक्नुहुन्छ। Anthropic ले Crawl-delay लाई गैर-मानक विस्तारका रूपमा समर्थन गर्छ, जस्तै तपाईंको robots.txt को ClaudeBot समूहमा Crawl-delay: 1।

अनुरोध साँच्चै Anthropic बाटै आएको हो भनी कसरी प्रमाणित गर्ने?

स्रोत IP लाई Anthropic ले claude.com/crawling/bots.json मा प्रकाशित गरेको सूचीसँग तुलना गर्नुहोस्। user agent मात्र त जोसुकैले नक्कल गर्न सक्छ।

स्रोतहरू

थप लेखहरू