Claude-SearchBot

Anthropic · AI सर्च

Claude-SearchBot Claude मधील सर्च निकालांची प्रासंगिकता आणि अचूकता सुधारण्यासाठी वेब क्रॉल करतो. Anthropic सांगते की त्याला ब्लॉक केल्याने तुमचा मजकूर सर्चसाठी इंडेक्स होत नाही, ज्यामुळे वापरकर्त्यांच्या सर्च निकालांमध्ये तुमची दृश्यमानता आणि अचूकता कमी होऊ शकते. Claude ने तुमची पेजेस शोधावीत आणि त्यांचा संदर्भ द्यावा असे वाटत असल्यास त्याला परवानगी द्या.

त्याला परवानगी कशी द्यावी

User-agent: Claude-SearchBot
Allow: /

त्याला ब्लॉक कसे करावे

User-agent: Claude-SearchBot
Disallow: /

तो काय करतो

Anthropic वेबवर फिरण्यासाठी आणि Claude वापरकर्त्यांसाठी सर्च निकालांची गुणवत्ता सुधारण्यासाठी Claude-SearchBot वापरते. तो ट्रेनिंग क्रॉलर ClaudeBot पेक्षा वेगळा आहे, त्यामुळे तुम्ही ट्रेनिंगमधून opt out करत असताना सर्चला परवानगी देऊ शकता.

Anthropic सांगते की Claude-SearchBot बंद केल्याने सर्च ऑप्टिमायझेशनसाठी तुमचा मजकूर इंडेक्स होत नाही, ज्यामुळे वापरकर्त्यांच्या सर्च निकालांमध्ये तुमच्या साइटची दृश्यमानता आणि अचूकता कमी होऊ शकते. Anthropic चे बॉट robots.txt पाळतात आणि anti-circumvention उपायांचा आदर करतात, त्यामुळे CAPTCHA किंवा चॅलेंज पेज भेट संपवते.

आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 12.9% साइटनी त्याला ब्लॉक केले. →

robots.txt टोकन

Claude-SearchBot

खऱ्या भेटींची पडताळणी कशी करावी

Anthropic आपल्या क्रॉलरचे IP पत्ते claude.com/crawling/bots.json वर प्रकाशित करते आणि सांगते की ज्या क्रॉलरचा IP त्या यादीत आहे तो Anthropic कडून येतो. युजर एजंटवर विश्वास ठेवण्याऐवजी स्रोत IP यादीशी जुळवा. Anthropic opt out करण्यासाठी IP ब्लॉकिंग न वापरण्याचा सल्ला देते, कारण त्यामुळे क्रॉलर robots.txt सुद्धा वाचू शकत नाही.

तुमची साइट त्याला आत येऊ देते का ते तपासा →

Anthropic चे क्रॉलर: ClaudeBot, Claude-SearchBot आणि Claude-User →