हर दस में से चार बिज़नेस वेबसाइटें AI क्रॉलर को लौटा देती हैं
US, UK और फ्रांस की 165 बिज़नेस वेबसाइटों के हमारे ऑडिट में 38% ने सर्वर पर कम से कम एक AI क्रॉलर को लौटा दिया, लगभग हमेशा कोई ट्रेनिंग या स्क्रैपर बॉट। करीब हर दस में से एक साइट ने PerplexityBot या OAI-SearchBot जैसे AI सर्च क्रॉलर को भी मना किया, जो सिटेशन तक ले जा सकते हैं। अपनी साइट को हर क्रॉलर के लिए एक रिक्वेस्ट से जाँचें।
आप ChatGPT से अपने ही प्रोडक्ट के बारे में पूछते हैं और वह किसी प्रतिस्पर्धी, एक रिव्यू साइट और एक फ़ोरम थ्रेड का नाम बताता है। कभी यह कंटेंट का मामला होता है। अक्सर यह फ़ायरवॉल होता है जो AI क्रॉलर को ना कह देता है, और आपकी टीम में किसी ने इसे नहीं देखा क्योंकि साइट ब्राउज़र में ठीक चलती है।
इस पेज पर
हमने क्या टेस्ट किया?
हम एक ही पते से एक पेज को कई बार रिक्वेस्ट करते हैं: एक बार सामान्य ब्राउज़र की तरह, और फिर 14 AI और सर्च क्रॉलर में से हर एक की तरह, जिनमें OpenAI के GPTBot, OAI-SearchBot और ChatGPT-User, Anthropic के ClaudeBot और Claude-SearchBot, और Perplexity का PerplexityBot शामिल हैं। अगर ब्राउज़र को पेज मिल जाता है और किसी क्रॉलर को 401, 403, 406, 429, 451, 503 या चैलेंज पेज मिलता है, तो साइट उस क्रॉलर को लौटा रही है।
सैंपल US, UK और फ्रांस की 218 बिज़नेस वेबसाइटों का है, जिनका ऑडिट 18 से 21 नवंबर 2026 के बीच हुआ। पूरा टेस्ट हम 165 पर चला सके। बाकी 53 ने हमारी सामान्य ब्राउज़र रिक्वेस्ट को भी मना कर दिया या जवाब नहीं दिया, इसलिए हमने अंदाज़ा लगाने के बजाय उन्हें छोड़ दिया।
हमें क्या मिला?
- टेस्ट हो सकने वाली साइटों में से 38% (165 में से 63) ने कम से कम एक AI क्रॉलर को लौटाया।
- इनमें से हर साइट ने कम से कम एक ट्रेनिंग या स्क्रैपर क्रॉलर को मना किया।
Bytespiderको सभी साइटों में से 35% ने,ClaudeBotको 13% ने औरGPTBotको 11% ने मना किया। - 10% साइटों (16) ने कम से कम एक AI सर्च क्रॉलर को भी मना किया, और 5% (8) ने ऐसे क्रॉलर को मना किया जो किसी के असिस्टेंट से पूछने पर लाइव पेज खोलता है।
- सबसे अहम सर्च क्रॉलर
PerplexityBot(11 साइटें) औरOAI-SearchBot(5 साइटें) रहे। - हमारे टेस्ट किए किसी भी क्रॉलर को मना करने वाली 66 साइटों में से 32 के पीछे Cloudflare था। 30 और साइटों के लिए हम नहीं बता सके कि किस फ़ायरवॉल ने जवाब दिया।
ऐसा क्यों होता है, और यह कब सोचा-समझा फ़ैसला है?
इसमें से काफ़ी कुछ शायद जानबूझकर है। कई मालिक नहीं चाहते कि उनका कंटेंट मॉडल ट्रेन करने में इस्तेमाल हो, और स्क्रैपर रोकने वाली बॉट-प्रोटेक्शन सेटिंग चालू करना आसान है। यह एक जायज़ फ़ैसला है।
दिक्कत यह है कि AI कंपनियाँ ट्रेनिंग और सर्च के लिए अलग-अलग क्रॉलर चलाती हैं। ट्रेनिंग क्रॉलर को रोकने के लिए सर्च क्रॉलर को रोकना ज़रूरी नहीं, और सर्च क्रॉलर ही वह है जो आपके पेज को जवाब में सिटेशन दिला सकता है।
क्या सबसे बड़ी साइटें बेहतर करती हैं?
ख़ास नहीं। 1,000 सबसे लोकप्रिय डोमेन की हमारी robots.txt रिपोर्ट में, robots.txt वाली साइटों में से 29.9% कम से कम एक AI ट्रेनिंग क्रॉलर को ब्लॉक करती हैं, और उनमें से 63.2% कम से कम एक AI सर्च या यूज़र क्रॉलर को भी ब्लॉक करती हैं। केवल 11.0% ट्रेनिंग को ब्लॉक करके हर AI सर्च क्रॉलर को अनुमति देती हैं, जो शायद ज़्यादातर की चाही हुई सेटिंग थी।
मैं दस मिनट में अपनी साइट कैसे जाँचूँ?
yoursite.com/robots.txtखोलें। जिस भी AI क्रॉलर की आपको परवाह है, देखें कि कोई ग्रुप उसका नाम लेता है या नहीं और उसमें क्या लिखा है। जो ग्रुप किसी क्रॉलर का नाम लेता है, वह सामान्य*ग्रुप की जगह पूरी तरह ले लेता है।- फ़ाइल में क्या लिखा है यह नहीं, बल्कि सर्वर क्या करता है यह टेस्ट करें। अपना मुख्य पेज ब्राउज़र की तरह और क्रॉलर की तरह रिक्वेस्ट करें। 403, 429,
Just a moment...शीर्षक वाला पेज, या ब्राउज़र के मुक़ाबले बहुत छोटा रिस्पॉन्स फ़ायरवॉल ब्लॉक की पहचान है। - असिस्टेंट से पूछें। सर्च चालू करके ChatGPT या Perplexity से वे सवाल पूछें जो आपके ग्राहक पूछते हैं और देखें कि वह किन साइटों को सिट करता है। अगर एक्सेस ठीक है और फिर भी आप नहीं दिखते, तो समस्या कंटेंट की है, एक्सेस की नहीं।
ये आँकड़े कितने भरोसेमंद हैं?
इन्हें जनगणना नहीं, एक पैटर्न मानें। सैंपल रैंडम नहीं है: ये कंपनियाँ विज्ञापन लाइब्रेरी, जॉब बोर्ड और मैप लिस्टिंग से मिली हैं। हम एक पते से यूज़र एजेंट के आधार पर टेस्ट करते हैं, जबकि असली क्रॉलर अपने वेंडर के बताए पतों से आते हैं, इसलिए कुछ फ़ायरवॉल असली क्रॉलर के साथ अलग व्यवहार कर सकते हैं। और ब्लॉक हमेशा ग़लती नहीं होता।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
कितनी वेबसाइटें AI क्रॉलर को ब्लॉक करती हैं?
टेस्ट हो सकने वाली 165 बिज़नेस वेबसाइटों के हमारे ऑडिट में 38% ने सर्वर पर कम से कम एक AI क्रॉलर को लौटाया, ज़्यादातर ट्रेनिंग और स्क्रैपर बॉट को। लगभग 10% ने AI सर्च क्रॉलर को भी मना किया।
क्या GPTBot को ब्लॉक करने से मेरी साइट ChatGPT सर्च से बाहर हो जाती है?
नहीं। OpenAI के अनुसार उसके क्रॉलर की हर robots.txt सेटिंग स्वतंत्र है: GPTBot ट्रेनिंग से जुड़ा है, OAI-SearchBot ChatGPT सर्च से। एक को ब्लॉक करने से दूसरा ब्लॉक नहीं होता।
robots.txt के बिना कोई साइट क्रॉलर को कैसे ब्लॉक कर सकती है?
फ़ायरवॉल, CDN या बॉट-प्रोटेक्शन नियम क्रॉलर को 403, 429 या चैलेंज पेज से जवाब दे सकता है। robots.txt में यह कभी नहीं दिखता, इसलिए पेज को क्रॉलर की तरह रिक्वेस्ट करके इसे टेस्ट करना पड़ता है।
क्या क्रॉलर को लौटाना हमेशा ग़लती है?
नहीं। कई मालिक ट्रेनिंग क्रॉलर और स्क्रैपर को बाहर रखना चाहते हैं। ग़लती तब है जब सर्च क्रॉलर अनजाने में ब्लॉक हो जाएँ, क्योंकि वही आपके पेज को सिट कर सकते हैं।
स्रोत
- AISeeWhy: AI क्रॉलर एक्सेस रिपोर्ट, 2026-11
- RFC 9309: रोबोट्स एक्सक्लूज़न प्रोटोकॉल
- OpenAI: OpenAI क्रॉलर का अवलोकन
- Perplexity: Perplexity क्रॉलर
- Cloudflare: AI क्रॉलर प्रबंधित करें (AI Crawl Control)