हमने 10,000 सबसे लोकप्रिय साइटों की robots.txt पढ़ी। AI क्रॉलर के बारे में वे यह करती हैं
Tranco के शीर्ष 10,000 में से जिन 6,192 डोमेन पर robots.txt मिलती है, उनमें 23.2% कम से कम एक AI ट्रेनिंग क्रॉलर को और 12.3% कम से कम एक AI सर्च या यूज़र क्रॉलर को रोकते हैं। ट्रेनिंग रोकने वाली साइटों में से 51.6% AI सर्च भी रोकती हैं। सिर्फ़ 11.2% ट्रेनिंग से बाहर रहती हैं और हर AI सर्च क्रॉलर को अनुमति देती हैं।
नवंबर में हमने 1,000 सबसे लोकप्रिय डोमेन की robots.txt पढ़ी थी। इस बार हमने उसी तरीके से 10,000 पढ़ीं, और यह भी जाँचा कि साइटें छोटी होने पर तस्वीर कैसे बदलती है। मुख्य नतीजा वही है: ट्रेनिंग रोकना और सर्च रोकना एक ही फ़ैसला मान लिया जाता है, जबकि ये दो अलग फ़ैसले हैं।
इस पेज पर
हमने इसे कैसे मापा?
हमने Tranco सूची (सूची ID JZWZY) के शीर्ष 10,000 डोमेन लिए। 21 नवंबर 2026 को AISeeWhy के अपने user agent से हर डोमेन का होम पेज, robots.txt और llms.txt एक बार माँगा। हमने हर robots.txt को RFC 9309 के अनुसार होम पेज (/) और 16 AI व सर्च क्रॉलर के लिए परखा।
10,000 में से 6,192 डोमेन ने robots.txt दी (यानी सफल जवाब, जो HTML पेज नहीं है)। 1,121 ने 4xx से जवाब दिया, जिसका मतलब है कोई नियम नहीं और हर क्रॉलर को अनुमति। 2,687 ने robots.txt नहीं दी (HTTPS साइट नहीं, त्रुटियाँ, टाइमआउट, या उसकी जगह HTML पेज)। नीचे हर प्रतिशत इन 6,192 में से है। सूची में ऐसे CDN और API भी हैं जो कोई वेबसाइट नहीं चलाते।
हमें क्या मिला?
- 23.2% (1,437 डोमेन) कम से कम एक AI ट्रेनिंग क्रॉलर को रोकते हैं।
- 12.3% (762) कम से कम एक AI सर्च या यूज़र क्रॉलर को रोकते हैं, यानी उन जवाबों में इन पेजों का इस्तेमाल या हवाला नहीं होना चाहिए जो इस पर निर्भर हैं।
- ट्रेनिंग क्रॉलर को रोकने वाले डोमेन में से 51.6% (1,437 में से 742) कम से कम एक AI सर्च या यूज़र क्रॉलर को भी रोकते हैं।
- सिर्फ़ 11.2% (695) चुनिंदा रास्ता अपनाते हैं: वे ट्रेनिंग क्रॉलर को रोकते हैं और हर AI सर्च व यूज़र क्रॉलर को अनुमति देते हैं।
- 6.5% (401) अपनी AI पसंद
Content-Signalसे बताते हैं। - सभी 10,000 डोमेन में से 12.4% (1,240)
llms.txtप्रकाशित करते हैं। - तुलना के लिए: 2.0% (124) होम पेज पर
Googlebotको रोकते हैं।
सबसे ज़्यादा किन क्रॉलर को रोका जाता है?
उन 6,192 डोमेन का हिस्सा जिनकी robots.txt उस क्रॉलर के लिए होम पेज को मना करती है:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%।Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%।PerplexityBot10.4% के साथ सबसे ज़्यादा रोका जाने वाला AI सर्च क्रॉलर है, उसके बादOAI-SearchBot7.0% औरClaude-SearchBot7.0% हैं।- जो क्रॉलर किसी व्यक्ति के कहने पर पेज खोलते हैं:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%।
क्या बड़ी साइटें ज़्यादा रोकती हैं?
हाँ, और वे ट्रेनिंग और सर्च को अक्सर ज़्यादा गड्डमड्ड करती हैं। हमने सूची को रैंक के हिसाब से बाँटा:
- रैंक 1 से 1,000 (robots.txt वाले 560 डोमेन): 28.6% ट्रेनिंग रोकते हैं, 18.6% AI सर्च रोकते हैं, और ट्रेनिंग रोकने वालों में से 63.1% AI सर्च भी रोकते हैं।
- रैंक 1,001 से 3,000 (1,256 डोमेन): 23.5%, 13.5% और 55.6%।
- रैंक 3,001 से 10,000 (4,376 डोमेन): 22.4%, 11.2% और 48.6%।
चुनिंदा रास्ता हर आकार में दुर्लभ है: तीनों समूहों में क्रमशः 10.5%, 10.4% और 11.5% डोमेन।
क्या हमारी 12 नवंबर की रिपोर्ट के बाद कुछ बदला है?
हमने उसी सूची के पहले 1,000 डोमेन फिर से चलाए। नतीजा लगभग एक अंक के भीतर स्थिर है: 28.6% ट्रेनिंग रोकते हैं (12 नवंबर को 29.9%), 18.6% AI सर्च रोकते हैं (19.5%), और ट्रेनिंग रोकने वालों में से 63.1% AI सर्च भी रोकते हैं (63.2%)। हर के नीचे की संख्याएँ थोड़ी अलग हैं (अब robots.txt वाले 560 डोमेन, तब 518) क्योंकि इस बार माँगने से पहले डोमेन के मुख्य होस्ट तक रीडायरेक्ट का पालन किया गया।
आपकी robots.txt के लिए इसका क्या मतलब है?
ज़्यादातर AI कंपनियाँ ट्रेनिंग और सर्च के लिए अलग-अलग क्रॉलर बताती हैं और कहती हैं कि उनकी सेटिंग स्वतंत्र हैं। GPTBot को मना करने से OAI-SearchBot पर असर नहीं पड़ता, और ClaudeBot को मना करने से Claude-SearchBot पर असर नहीं पड़ता। अगर आप ट्रेनिंग से बाहर रहना चाहते हैं और फिर भी हवाले में आना चाहते हैं, तो ट्रेनिंग वाले टोकन रोकें और सर्च व यूज़र वाले टोकन को अनुमति दें। निजी पथ हर समूह में दोहराएँ, क्योंकि नाम वाला समूह * से कुछ विरासत में नहीं लेता।
ये आँकड़े कितने भरोसेमंद हैं?
ये होम पेज के लिए robots.txt के नियम हैं, जिन्हें एक दिन एक पार्सर ने पढ़ा। ये फ़ायरवॉल की रोक नहीं मापते, जो उस क्रॉलर को भी मना कर सकती है जिसे robots.txt अनुमति देती है। ये नहीं बता सकते कि हर साइट का इरादा क्या था, और Tranco सूची में ऐसे डोमेन भी हैं जो कोई वेबसाइट नहीं चलाते। सर्च क्रॉलर को रोकने वाला नियम ग़लती का सबूत नहीं है, सिर्फ़ ऐसी पसंद का है जो अक्सर अंतर जाने बिना की जाती है। आप इस पेज के लिंक के साथ इन आँकड़ों का हवाला दे सकते हैं।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- llms.txt चेकर और वैलिडेटर
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
लोकप्रिय साइटों का कितना हिस्सा AI क्रॉलर को रोकता है?
Tranco के शीर्ष 10,000 में से जिन 6,192 डोमेन पर robots.txt मिलती है, उनमें 23.2% कम से कम एक AI ट्रेनिंग क्रॉलर को और 12.3% कम से कम एक AI सर्च या यूज़र क्रॉलर को रोकते हैं।
क्या AI ट्रेनिंग रोकने वाली साइटें AI सर्च भी रोकती हैं?
अक्सर। ट्रेनिंग क्रॉलर को रोकने वाली 51.6% साइटें कम से कम एक AI सर्च या यूज़र क्रॉलर को भी रोकती हैं, जबकि वेंडर इन्हें स्वतंत्र सेटिंग वाले अलग क्रॉलर बताते हैं।
सबसे ज़्यादा किस AI क्रॉलर को रोका जाता है?
ट्रेनिंग क्रॉलर में Bytespider (18.7%) और CCBot (18.5%), फिर GPTBot (17.4%)। AI सर्च क्रॉलर में PerplexityBot सबसे ज़्यादा रोका जाता है, 10.4% डोमेन पर।
आपकी 1,000 साइटों वाली रिपोर्ट से ये संख्याएँ अलग क्यों हैं?
पहले 1,000 डोमेन लगभग वही प्रतिशत देते हैं (28.6% और 18.6%, जबकि पहले 29.9% और 19.5%)। 10,000 साइटों के आँकड़े इसलिए कम हैं कि छोटी साइटें कम रोकती हैं।
स्रोत
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers