हमने 10,000 सबसे लोकप्रिय साइटों की robots.txt पढ़ी। AI क्रॉलर के बारे में वे यह करती हैं

प्रकाशित

संक्षिप्त उत्तर

Tranco के शीर्ष 10,000 में से जिन 6,192 डोमेन पर robots.txt मिलती है, उनमें 23.2% कम से कम एक AI ट्रेनिंग क्रॉलर को और 12.3% कम से कम एक AI सर्च या यूज़र क्रॉलर को रोकते हैं। ट्रेनिंग रोकने वाली साइटों में से 51.6% AI सर्च भी रोकती हैं। सिर्फ़ 11.2% ट्रेनिंग से बाहर रहती हैं और हर AI सर्च क्रॉलर को अनुमति देती हैं।

नवंबर में हमने 1,000 सबसे लोकप्रिय डोमेन की robots.txt पढ़ी थी। इस बार हमने उसी तरीके से 10,000 पढ़ीं, और यह भी जाँचा कि साइटें छोटी होने पर तस्वीर कैसे बदलती है। मुख्य नतीजा वही है: ट्रेनिंग रोकना और सर्च रोकना एक ही फ़ैसला मान लिया जाता है, जबकि ये दो अलग फ़ैसले हैं।

इस पेज पर
  1. हमने इसे कैसे मापा?
  2. हमें क्या मिला?
  3. सबसे ज़्यादा किन क्रॉलर को रोका जाता है?
  4. क्या बड़ी साइटें ज़्यादा रोकती हैं?
  5. क्या हमारी 12 नवंबर की रिपोर्ट के बाद कुछ बदला है?
  6. आपकी robots.txt के लिए इसका क्या मतलब है?
  7. ये आँकड़े कितने भरोसेमंद हैं?

हमने इसे कैसे मापा?

हमने Tranco सूची (सूची ID JZWZY) के शीर्ष 10,000 डोमेन लिए। 21 नवंबर 2026 को AISeeWhy के अपने user agent से हर डोमेन का होम पेज, robots.txt और llms.txt एक बार माँगा। हमने हर robots.txt को RFC 9309 के अनुसार होम पेज (/) और 16 AI व सर्च क्रॉलर के लिए परखा।

10,000 में से 6,192 डोमेन ने robots.txt दी (यानी सफल जवाब, जो HTML पेज नहीं है)। 1,121 ने 4xx से जवाब दिया, जिसका मतलब है कोई नियम नहीं और हर क्रॉलर को अनुमति। 2,687 ने robots.txt नहीं दी (HTTPS साइट नहीं, त्रुटियाँ, टाइमआउट, या उसकी जगह HTML पेज)। नीचे हर प्रतिशत इन 6,192 में से है। सूची में ऐसे CDN और API भी हैं जो कोई वेबसाइट नहीं चलाते।

हमें क्या मिला?

सबसे ज़्यादा किन क्रॉलर को रोका जाता है?

उन 6,192 डोमेन का हिस्सा जिनकी robots.txt उस क्रॉलर के लिए होम पेज को मना करती है:

क्या बड़ी साइटें ज़्यादा रोकती हैं?

हाँ, और वे ट्रेनिंग और सर्च को अक्सर ज़्यादा गड्डमड्ड करती हैं। हमने सूची को रैंक के हिसाब से बाँटा:

चुनिंदा रास्ता हर आकार में दुर्लभ है: तीनों समूहों में क्रमशः 10.5%, 10.4% और 11.5% डोमेन।

क्या हमारी 12 नवंबर की रिपोर्ट के बाद कुछ बदला है?

हमने उसी सूची के पहले 1,000 डोमेन फिर से चलाए। नतीजा लगभग एक अंक के भीतर स्थिर है: 28.6% ट्रेनिंग रोकते हैं (12 नवंबर को 29.9%), 18.6% AI सर्च रोकते हैं (19.5%), और ट्रेनिंग रोकने वालों में से 63.1% AI सर्च भी रोकते हैं (63.2%)। हर के नीचे की संख्याएँ थोड़ी अलग हैं (अब robots.txt वाले 560 डोमेन, तब 518) क्योंकि इस बार माँगने से पहले डोमेन के मुख्य होस्ट तक रीडायरेक्ट का पालन किया गया।

आपकी robots.txt के लिए इसका क्या मतलब है?

ज़्यादातर AI कंपनियाँ ट्रेनिंग और सर्च के लिए अलग-अलग क्रॉलर बताती हैं और कहती हैं कि उनकी सेटिंग स्वतंत्र हैं। GPTBot को मना करने से OAI-SearchBot पर असर नहीं पड़ता, और ClaudeBot को मना करने से Claude-SearchBot पर असर नहीं पड़ता। अगर आप ट्रेनिंग से बाहर रहना चाहते हैं और फिर भी हवाले में आना चाहते हैं, तो ट्रेनिंग वाले टोकन रोकें और सर्च व यूज़र वाले टोकन को अनुमति दें। निजी पथ हर समूह में दोहराएँ, क्योंकि नाम वाला समूह * से कुछ विरासत में नहीं लेता।

ये आँकड़े कितने भरोसेमंद हैं?

ये होम पेज के लिए robots.txt के नियम हैं, जिन्हें एक दिन एक पार्सर ने पढ़ा। ये फ़ायरवॉल की रोक नहीं मापते, जो उस क्रॉलर को भी मना कर सकती है जिसे robots.txt अनुमति देती है। ये नहीं बता सकते कि हर साइट का इरादा क्या था, और Tranco सूची में ऐसे डोमेन भी हैं जो कोई वेबसाइट नहीं चलाते। सर्च क्रॉलर को रोकने वाला नियम ग़लती का सबूत नहीं है, सिर्फ़ ऐसी पसंद का है जो अक्सर अंतर जाने बिना की जाती है। आप इस पेज के लिंक के साथ इन आँकड़ों का हवाला दे सकते हैं।

मुफ़्त टूल

अगले कदम

इस लेख के क्रॉलर

अक्सर पूछे जाने वाले प्रश्न

लोकप्रिय साइटों का कितना हिस्सा AI क्रॉलर को रोकता है?

Tranco के शीर्ष 10,000 में से जिन 6,192 डोमेन पर robots.txt मिलती है, उनमें 23.2% कम से कम एक AI ट्रेनिंग क्रॉलर को और 12.3% कम से कम एक AI सर्च या यूज़र क्रॉलर को रोकते हैं।

क्या AI ट्रेनिंग रोकने वाली साइटें AI सर्च भी रोकती हैं?

अक्सर। ट्रेनिंग क्रॉलर को रोकने वाली 51.6% साइटें कम से कम एक AI सर्च या यूज़र क्रॉलर को भी रोकती हैं, जबकि वेंडर इन्हें स्वतंत्र सेटिंग वाले अलग क्रॉलर बताते हैं।

सबसे ज़्यादा किस AI क्रॉलर को रोका जाता है?

ट्रेनिंग क्रॉलर में Bytespider (18.7%) और CCBot (18.5%), फिर GPTBot (17.4%)। AI सर्च क्रॉलर में PerplexityBot सबसे ज़्यादा रोका जाता है, 10.4% डोमेन पर।

आपकी 1,000 साइटों वाली रिपोर्ट से ये संख्याएँ अलग क्यों हैं?

पहले 1,000 डोमेन लगभग वही प्रतिशत देते हैं (28.6% और 18.6%, जबकि पहले 29.9% और 19.5%)। 10,000 साइटों के आँकड़े इसलिए कम हैं कि छोटी साइटें कम रोकती हैं।

स्रोत

और लेख