CCBot
CCBot Common Crawl को क्रलर हो, जुन वेब क्रल डेटाको निःशुल्क, खुला भण्डार सञ्चालन गर्ने गैर-नाफामूलक संस्था हो। यो अभिलेख अनुसन्धानकर्ता र AI डेभलपरले व्यापक रूपमा प्रयोग गर्छन्, त्यसैले CCBot ब्लक गर्नु मुख्यतः ट्रेनिङसम्बन्धी निर्णय हो। यसले कुनै पनि सर्च इन्जिन वा AI सर्च उत्पादनलाई सिधै असर गर्दैन।
यसलाई कसरी अनुमति दिने
User-agent: CCBot
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: CCBot
Disallow: / यसले के गर्छ
Common Crawl वेब क्रल डेटाको खुला भण्डार बनाउने र सञ्चालन गर्ने गैर-नाफामूलक संस्था हो, जुन जो कोहीलाई निःशुल्क उपलब्ध छ। CCBot ले त्यो डेटा सङ्कलन गर्छ। Common Crawl भन्छ, यसले पेज ल्याउनुअघि robots.txt जाँच्छ, Crawl-delay पालना गर्छ, र JavaScript चलाउँदैन।
यसलाई ब्लक गर्न Common Crawl ले CCBot टोकनका लागि Disallow: / सहितको robots.txt समूह दस्तावेज गरेको छ। यसको सट्टा ढिलो बनाउन यसले उही समूहमा Crawl-delay लाइन सुझाव दिन्छ।
हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 24.1% ले यसलाई ब्लक गरेका थिए। →
robots.txt टोकन
CCBot
User-agent string
CCBot/2.0 (https://commoncrawl.org/faq/) वास्तविक भ्रमण कसरी प्रमाणित गर्ने
Common Crawl ले CCBot लाई reverse DNS सहितका समर्पित IP दायरामा चलाउँछ, त्यसैले लगमा भएको अनुरोध वास्तविक CCBot बाट आएको हो कि जाँच्न सक्नुहुन्छ। यसले IPv4 र IPv6 दायरा JSON मा प्रकाशित गर्छ र अन्य क्रलरले आफूलाई झुटो रूपमा CCBot भन्ने चेतावनी दिन्छ।
तपाईंको साइटले यसलाई भित्र आउन दिन्छ कि जाँच्नुहोस् →
AI क्रलरका लागि robots.txt: केलाई अनुमति दिने, के ब्लक गर्ने →