CCBot

Common Crawl · AI ट्रेनिंग

CCBot हा Common Crawl चा क्रॉलर आहे, जी वेब क्रॉल डेटाचे मोफत, खुले भांडार सांभाळणारी ना-नफा संस्था आहे. हा संग्रह संशोधक आणि AI विकसक मोठ्या प्रमाणावर वापरतात, त्यामुळे CCBot ला ब्लॉक करणे हा मुख्यतः ट्रेनिंगबद्दलचा निर्णय आहे. त्याचा कोणत्याही सर्च इंजिन किंवा AI सर्च उत्पादनावर थेट परिणाम होत नाही.

त्याला परवानगी कशी द्यावी

User-agent: CCBot
Allow: /

त्याला ब्लॉक कसे करावे

User-agent: CCBot
Disallow: /

तो काय करतो

Common Crawl ही वेब क्रॉल डेटाचे खुले भांडार तयार करणारी आणि सांभाळणारी ना-नफा संस्था आहे, जे कोणालाही मोफत उपलब्ध आहे. CCBot तो डेटा गोळा करतो. Common Crawl सांगते की ते पेज मिळवण्यापूर्वी robots.txt तपासते, Crawl-delay पाळते, आणि JavaScript चालवत नाही.

त्याला ब्लॉक करण्यासाठी Common Crawl CCBot टोकनसाठी Disallow: / असलेल्या robots.txt गटाचे वर्णन करते. त्याऐवजी त्याचा वेग कमी करण्यासाठी ते त्याच गटात Crawl-delay ओळ सुचवते.

आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 24.1% साइटनी त्याला ब्लॉक केले. →

robots.txt टोकन

CCBot

युजर-एजंट स्ट्रिंग

CCBot/2.0 (https://commoncrawl.org/faq/)

खऱ्या भेटींची पडताळणी कशी करावी

Common Crawl CCBot reverse DNS असलेल्या समर्पित IP रेंजवर चालवते, त्यामुळे लॉगमधील विनंती खऱ्या CCBot कडून आली का ते तुम्ही तपासू शकता. ते IPv4 आणि IPv6 रेंज JSON म्हणून प्रकाशित करते आणि इतर क्रॉलर स्वतःला खोटेपणाने CCBot म्हणवतात असा इशारा देते.

तुमची साइट त्याला आत येऊ देते का ते तपासा →

AI क्रॉलरसाठी robots.txt: कशाला परवानगी द्यावी, काय ब्लॉक करावे →