ClaudeBot
ClaudeBot हा Anthropic चा क्रॉलर आहे, जो त्याच्या जनरेटिव्ह AI मॉडेलच्या ट्रेनिंगसाठी वापरला जाऊ शकणारा वेब मजकूर गोळा करतो. robots.txt मध्ये त्याला नकार दिल्याने तुमच्या साइटचा भविष्यातील मजकूर ट्रेनिंगमधून वगळावा असे सूचित होते. फक्त त्याला ब्लॉक केल्याने सर्च आणि थेट उत्तरे देणारे Claude-SearchBot किंवा Claude-User थांबत नाहीत.
त्याला परवानगी कशी द्यावी
User-agent: ClaudeBot
Allow: / त्याला ब्लॉक कसे करावे
User-agent: ClaudeBot
Disallow: / तो काय करतो
Anthropic सांगते की ClaudeBot त्याच्या मॉडेलची उपयुक्तता आणि सुरक्षितता वाढवण्यासाठी त्यांच्या ट्रेनिंगमध्ये योगदान देऊ शकणारा वेब मजकूर गोळा करतो. ClaudeBot ला नकार दिल्याने तुमच्या साइटचे भविष्यातील साहित्य ट्रेनिंग डेटासेटमधून वगळावे असे सूचित होते.
Anthropic अमानक Crawl-delay directive लाही सपोर्ट करते, त्यामुळे तुम्ही ClaudeBot ला ब्लॉक करण्याऐवजी त्याचा वेग कमी करू शकता. robots.txt मध्ये ClaudeBot चे नाव असलेले नियम Anthropic च्या सर्वसाधारण no-AI-training संकेतापेक्षा प्राधान्याने लागू होतात. robots.txt नियम प्रत्येक होस्टसाठी लागू होतात, त्यामुळे तुम्हाला समाविष्ट करायच्या प्रत्येक सबडोमेनवर ते जोडा.
आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 21.2% साइटनी त्याला ब्लॉक केले. →
robots.txt टोकन
ClaudeBot
खऱ्या भेटींची पडताळणी कशी करावी
Anthropic आपल्या क्रॉलरचे IP पत्ते claude.com/crawling/bots.json वर प्रकाशित करते आणि सांगते की ज्या क्रॉलरचा IP त्या यादीत आहे तो Anthropic कडून येतो. युजर एजंटवर विश्वास ठेवण्याऐवजी स्रोत IP यादीशी जुळवा. Anthropic opt out करण्यासाठी IP ब्लॉकिंग न वापरण्याचा सल्ला देते, कारण त्यामुळे क्रॉलर robots.txt सुद्धा वाचू शकत नाही.
तुमची साइट त्याला आत येऊ देते का ते तपासा →
Anthropic चे क्रॉलर: ClaudeBot, Claude-SearchBot आणि Claude-User →