Anthropic चे क्रॉलर: ClaudeBot, Claude-SearchBot आणि Claude-User

प्रकाशित

छोटे उत्तर

Anthropic तीन एजंट चालवते: ClaudeBot त्याच्या मॉडेलच्या ट्रेनिंगसाठी वापरला जाऊ शकणारा मजकूर गोळा करतो, Claude-SearchBot Claude चे सर्च निकाल सुधारण्यासाठी क्रॉल करतो, आणि Claude युजरच्या प्रश्नासाठी गरज पडल्यावर Claude-User पेजेस मिळवतो. प्रत्येकाचे स्वतःचे robots.txt टोकन आहे, आणि Anthropic सांगते की तिन्ही robots.txt पाळतात. फक्त ClaudeBot ब्लॉक केल्याने सर्च किंवा युजर फेच थांबत नाहीत.

Anthropic त्याच्या क्रॉलरचे दस्तऐवज एकाच मदत पेजवर देते, आणि त्याची रचना इतर AI कंपन्यांसारखीच आहे: ट्रेनिंगसाठी एक एजंट, सर्चसाठी एक आणि युजरच्या वतीने लाइव्ह फेचसाठी एक. Claude ला तुमची पेजेस शोधता आणि उद्धृत करता यावीत असे वाटत असल्यास, शेवटचे दोन सर्वात महत्त्वाचे आहेत.

या पेजवर
  1. ClaudeBot काय करतो?
  2. Claude-SearchBot काय करतो?
  3. Claude-User काय करतो?
  4. Claude साठी robots.txt नियम कसे लिहावे?
  5. Anthropic ची रचना OpenAI आणि Perplexity च्या तुलनेत कशी आहे?
  6. मी Anthropic ला IP पत्त्याने ब्लॉक करावे का?
  7. तरीही Claude ला माझे पेज वाचता का येणार नाही?

ClaudeBot काय करतो?

ClaudeBot असा वेब मजकूर गोळा करतो जो Anthropic च्या जनरेटिव्ह AI मॉडेलच्या ट्रेनिंगमध्ये योगदान देऊ शकतो. Anthropic नुसार त्याला नाकारल्याने तुमच्या साइटचा भविष्यातील मजकूर ट्रेनिंग डेटासेटमधून वगळावा असा संकेत मिळतो.

Anthropic असेही सांगते की ते IETF मसुद्यावर आधारित machine-readable no-AI-training सिग्नल पाळते, आणि robots.txt मध्ये ClaudeBot चे नाव असलेले नियम त्या सर्वसाधारण सेटिंगपेक्षा प्राधान्याचे असतात. इतर ट्रेनिंग क्रॉलरप्रमाणे, त्याला ब्लॉक करणे हा धोरणात्मक निर्णय आहे.

Claude-SearchBot काय करतो?

Claude-SearchBot Claude मधील सर्च निकालांची प्रासंगिकता आणि अचूकता सुधारण्यासाठी वेब क्रॉल करतो. Anthropic सांगते की त्याला ब्लॉक केल्याने तुमचा मजकूर सर्चसाठी इंडेक्स होत नाही, ज्यामुळे युजरच्या सर्च निकालांमधील तुमची दृश्यमानता आणि अचूकता कमी होऊ शकते.

कोणी विचारण्याआधीच Claude च्या सर्च फीचरना तुमच्या पेजेसची माहिती असावी असे वाटत असल्यास, याच एजंटला परवानगी द्या. तो सर्च क्रॉलर असल्यामुळे, कोणत्याही सर्च क्रॉलरला ज्या गोष्टींचा फायदा होतो त्यांचा त्यालाही होतो: robots.txt मध्ये सूचीबद्ध sitemap, स्वच्छ अंतर्गत लिंक, आणि पहिल्याच प्रतिसादात मजकूर देणारी पेजेस.

Claude-User काय करतो?

Claude युजर गरज असलेला प्रश्न विचारतो तेव्हा Claude-User वेबसाइट उघडतो, उदाहरणार्थ कोणी URL शेअर करतो किंवा Claude ला काही शोधायला सांगतो तेव्हा. Anthropic सांगते की त्याला ब्लॉक केल्याने युजरच्या प्रश्नांना उत्तर म्हणून पेज मिळवणे थांबते, ज्यामुळे युजरने सुरू केलेल्या वेब सर्चमधील तुमची दृश्यमानता कमी होऊ शकते.

काही इतर कंपन्यांपासूनचा एक फरक लक्षात घ्या. Anthropic सांगते की त्याचे बॉट robots.txt निर्देश पाळतात, आणि ते robots.txt द्वारे Claude-User ब्लॉक करण्याचे वर्णन करते. याउलट OpenAI आणि Perplexity सांगतात की त्यांचे युजरने मागितलेले फेचर robots.txt पाळतीलच असे नाही.

Claude साठी robots.txt नियम कसे लिहावे?

प्रत्येक एजंटचे स्वतःचे टोकन आहे, आणि RFC 9309 नुसार क्रॉलरचे नाव असलेला गट त्या क्रॉलरसाठी * गटाची जागा घेतो. सर्च आणि युजर फेचना परवानगी देऊन ट्रेनिंगमधून बाहेर पडणे ही सामान्य निवड आहे:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

ब्लॉक करण्याऐवजी क्रॉलिंगचा वेग कमी करायचा असल्यास, Anthropic Crawl-delay ला अमानक विस्तार म्हणूनही सपोर्ट करते, उदाहरणार्थ User-agent: ClaudeBot खाली Crawl-delay: 1. नियम प्रत्येक होस्टच्या सर्वोच्च डिरेक्टरीतील robots.txt मध्ये असले पाहिजेत, त्यामुळे तुम्हाला कव्हर करायच्या प्रत्येक सबडोमेनमध्ये ते जोडा.

Anthropic ची रचना OpenAI आणि Perplexity च्या तुलनेत कशी आहे?

तिन्ही कंपन्या वेगवेगळ्या नावांसह एकच पद्धत वापरतात, त्यामुळे एकत्रित robots.txt समजणे सोपे जाते. मुख्य फरक असा की युजरच्या विनंतीवरील लाइव्ह फेचसाठी प्रत्येक कंपनी robots.txt कडे कसे पाहते.

तिघांसाठी एकच robots.txt लिहित असल्यास, सर्च आणि युजर टोकन एका गटात आणि ट्रेनिंग टोकन दुसऱ्या गटात ठेवा. त्यामुळे धोरण वाचायला सोपे राहते आणि प्रत्येक उद्देशासाठी तुम्ही कोणती निवड केली हे स्पष्ट दिसते.

मी Anthropic ला IP पत्त्याने ब्लॉक करावे का?

Anthropic याविरुद्ध सल्ला देते. त्याचे दस्तऐवज सांगतात की IP पत्ते ब्लॉक करणे नीट काम करेल किंवा opt-out ची कायमस्वरूपी हमी देईल असे नाही, कारण त्याने क्रॉलरला तुमची robots.txt वाचणेही थांबते. तुमचे धोरण सांगण्यासाठी robots.txt वापरा.

Anthropic त्याच्या क्रॉलरचे IP पत्ते claude.com/crawling/bots.json वर प्रकाशित करते. त्या यादीचा उपयोगी वापर ब्लॉक करण्याच्या उलट आहे: स्वतःला Claude-SearchBot किंवा Claude-User म्हणवणारी विनंती खरोखर Anthropic कडून आली आहे याची तुमच्या फायरवॉलला पडताळणी करू द्या, आणि तिला आत येऊ द्या.

तरीही Claude ला माझे पेज वाचता का येणार नाही?

robots.txt परवानगी देत असतानाही तुमचा फायरवॉल किंवा CDN Anthropic च्या एजंटना 403 किंवा चॅलेंज पेज देऊ शकतो. Anthropic सांगते की त्याचे बॉट anti-circumvention तंत्रज्ञानाचा आदर करतात आणि CAPTCHA बायपास करण्याचा प्रयत्न करत नाहीत, त्यामुळे चॅलेंज पेजवर भेट तिथेच संपते. JavaScript चालल्यानंतरच मजकूर दिसणारी पेजेसही जवळजवळ रिकामी पोहोचू शकतात.

AISeeWhy तुमचे पेज ब्राउझरच्या बरोबरीने ClaudeBot, Claude-SearchBot आणि Claude-User म्हणून मागवते आणि प्रत्येकासाठी तुमचे robots.txt नियम तपासते, त्यामुळे तुम्ही लिहिलेले धोरणच तुमचा सर्व्हर लागू करतो का हे तुम्हाला दिसते.

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

ClaudeBot ब्लॉक केल्याने माझी साइट Claude च्या उत्तरांमधून निघून जाते का?

फक्त तेवढ्याने नाही. सर्च इंडेक्सिंग आणि युजरने मागितलेले फेच Claude-SearchBot आणि Claude-User वापरतात, ज्यांचे स्वतःचे robots.txt टोकन आहेत.

Claude-User robots.txt पाळतो का?

Anthropic सांगते की त्याचे बॉट robots.txt पाळतात आणि तिथे Claude-User ब्लॉक करण्याचे वर्णन करते, ज्याचा परिणाम असा की Claude युजरच्या प्रश्नांसाठी तुमची पेजेस मिळवू शकत नाही.

Anthropic चे क्रॉलर CAPTCHA सोडवतील का?

नाही. Anthropic सांगते की त्याचे बॉट anti-circumvention तंत्रज्ञानाचा आदर करतात आणि CAPTCHA बायपास करण्याचा प्रयत्न करणार नाहीत.

ClaudeBot ब्लॉक करण्याऐवजी त्याचा वेग कमी करता येतो का?

होय. Anthropic Crawl-delay ला अमानक विस्तार म्हणून सपोर्ट करते, उदाहरणार्थ तुमच्या robots.txt च्या ClaudeBot गटात Crawl-delay: 1.

विनंती खरोखर Anthropic कडून आली आहे हे कसे पडताळावे?

स्रोत IP ची तुलना Anthropic ने claude.com/crawling/bots.json वर प्रकाशित केलेल्या यादीशी करा. फक्त युजर एजंटची कोणीही नक्कल करू शकतो.

स्रोत

आणखी लेख