CCBot
CCBot Common Crawl का क्रॉलर है, जो एक गैर-लाभकारी संस्था है और वेब क्रॉल डेटा का मुफ़्त, खुला भंडार चलाती है। इस संग्रह का शोधकर्ता और AI डेवलपर व्यापक रूप से उपयोग करते हैं, इसलिए CCBot को ब्लॉक करना मुख्य रूप से ट्रेनिंग से जुड़ा फ़ैसला है। यह किसी सर्च इंजन या AI सर्च उत्पाद को सीधे प्रभावित नहीं करता।
यह क्या करता है
Common Crawl एक गैर-लाभकारी संस्था है जो वेब क्रॉल डेटा का खुला भंडार बनाती और चलाती है, जो सबके लिए मुफ़्त उपलब्ध है। CCBot वही डेटा इकट्ठा करता है। Common Crawl के अनुसार वह पेज फ़ेच करने से पहले robots.txt जाँचता है, Crawl-delay का पालन करता है और JavaScript नहीं चलाता।
इसे ब्लॉक करने के लिए Common Crawl CCBot टोकन के लिए Disallow: / वाला robots.txt समूह बताती है। ब्लॉक करने के बजाय धीमा करना हो, तो वह उसी समूह में Crawl-delay की एक पंक्ति सुझाती है।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 24.1% ने इसे ब्लॉक किया था। →
robots.txt टोकन
CCBot
User-agent स्ट्रिंग
CCBot/2.0 (https://commoncrawl.org/faq/)इसे अनुमति कैसे दें
User-agent: CCBot
Allow: /इसे ब्लॉक कैसे करें
User-agent: CCBot
Disallow: /असली विज़िट कैसे सत्यापित करें
Common Crawl, CCBot को रिवर्स DNS वाली समर्पित IP रेंज पर चलाती है, इसलिए आप जाँच सकते हैं कि लॉग किया गया अनुरोध असली CCBot से आया या नहीं। वह IPv4 और IPv6 रेंज JSON के रूप में प्रकाशित करती है और चेतावनी देती है कि अन्य क्रॉलर खुद को झूठे ढंग से CCBot बताते हैं।