ClaudeBot
ClaudeBot Anthropic को क्रलर हो, जसले यसका जेनेरेटिभ AI मोडलको ट्रेनिङमा प्रयोग हुन सक्ने वेब सामग्री सङ्कलन गर्छ। robots.txt मा यसलाई निषेध गर्नुले तपाईंको साइटको भावी सामग्री ट्रेनिङबाट बाहिर राख्नुपर्छ भन्ने सङ्केत दिन्छ। यसलाई मात्र ब्लक गर्दा सर्च र लाइभ उत्तर दिने Claude-SearchBot वा Claude-User रोकिँदैनन्।
यसलाई कसरी अनुमति दिने
User-agent: ClaudeBot
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: ClaudeBot
Disallow: / यसले के गर्छ
Anthropic भन्छ, ClaudeBot ले मोडलको उपयोगिता र सुरक्षा बढाउन तिनको ट्रेनिङमा योगदान दिन सक्ने वेब सामग्री सङ्कलन गर्छ। ClaudeBot लाई निषेध गर्नुले तपाईंको साइटका भावी सामग्री ट्रेनिङ डेटासेटबाट बाहिर राख्नुपर्छ भन्ने सङ्केत दिन्छ।
Anthropic ले गैर-मानक Crawl-delay निर्देशन पनि समर्थन गर्छ, त्यसैले ClaudeBot लाई ब्लक गर्नुको सट्टा ढिलो बनाउन सक्नुहुन्छ। robots.txt मा ClaudeBot को नाम लिने नियमलाई Anthropic को सामान्य no-AI-training सङ्केतभन्दा प्राथमिकता दिइन्छ। robots.txt का नियम प्रति होस्ट लागू हुन्छन्, त्यसैले समेट्न चाहेका हरेक सबडोमेनमा तिनलाई थप्नुहोस्।
हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 21.2% ले यसलाई ब्लक गरेका थिए। →
robots.txt टोकन
ClaudeBot
वास्तविक भ्रमण कसरी प्रमाणित गर्ने
Anthropic ले आफ्ना क्रलरका IP ठेगाना claude.com/crawling/bots.json मा प्रकाशित गर्छ र त्यो सूचीमा IP भएको क्रलर Anthropic बाट आएको भन्छ। user agent मा भर पर्नुको सट्टा स्रोत IP लाई सूचीसँग मिलाउनुहोस्। Anthropic ले बाहिरिन IP ब्लक प्रयोग नगर्न सल्लाह दिन्छ, किनभने यसले क्रलरलाई robots.txt पढ्नबाट पनि रोक्छ।
तपाईंको साइटले यसलाई भित्र आउन दिन्छ कि जाँच्नुहोस् →
Anthropic का क्रलर: ClaudeBot, Claude-SearchBot र Claude-User →