कैसे जांचें कि कोई वेबसाइट AI क्रॉलर को ब्लॉक करती है या नहीं
कोई भी पता पेस्ट करें और देखें कि वह GPTBot, ClaudeBot, PerplexityBot और दूसरे AI क्रॉलर को ब्लॉक करता है या नहीं: robots.txt में, फ़ायरवॉल में, या दोनों में।
मुफ़्त · साइन-अप नहीं · 30 सेकंड में नतीजे
कौन-से क्रॉलर ब्लॉक हैं
ट्रेनिंग, सर्च और यूज़र क्रॉलर अलग-अलग दिखाए जाते हैं, क्योंकि GPTBot को ब्लॉक करने से OAI-SearchBot ब्लॉक नहीं होता, और ClaudeBot को ब्लॉक करने से Claude-SearchBot ब्लॉक नहीं होता।
वह लाइन जो फ़ैसला करती है
हर क्रॉलर के लिए robots.txt को RFC 9309 के नियमों से पढ़ा जाता है: वह ग्रुप जिसमें उसका नाम हो, या न मिलने पर User-agent: *, और वह नियम जो लागू होता है।
फ़ायरवॉल की मनाही
पेज को 14 क्रॉलर के रूप में और एक सामान्य ब्राउज़र के रूप में मांगा जाता है। ब्लॉक और चैलेंज पेज चिह्नित किए जाते हैं और जवाब देने वाले फ़ायरवॉल का नाम बताया जाता है।
हर नतीजे का समाधान
हर नतीजे के साथ वह बदलाव आता है जो करना है। मुफ़्त जांच में आपका स्कोर और पहला नतीजा दिखता है; पूरी रिपोर्ट $29 की है, सिर्फ़ एक बार।
साइट AI क्रॉलर को दो जगह ब्लॉक कर सकती है: robots.txt में, जो क्रॉलर से दूर रहने को कहता है, और सर्वर या फ़ायरवॉल में, जो उन्हें सचमुच मना कर देता है। robots.txt में हर क्रॉलर का टोकन देखें, न मिले तो User-agent: * देखें, फिर पेज को क्रॉलर बनकर फ़ेच करें और ब्राउज़र के नतीजे से तुलना करें। एक ब्राउज़र एक्सटेंशन 16 AI क्रॉलर के लिए robots.txt वाला हिस्सा एक क्लिक में कर देता है।
3 चरणों में खुद जांचें
- क्रॉलर चुनें
हर AI कंपनी के अलग-अलग क्रॉलर होते हैं। ट्रेनिंग:
GPTBot,ClaudeBot। सर्च:OAI-SearchBot,Claude-SearchBot,PerplexityBot। किसी व्यक्ति के अनुरोध पर:ChatGPT-User,Claude-User,Perplexity-User। - उसके लिए robots.txt पढ़ें
https://example.com/robots.txtखोलें और वह ग्रुप ढूंढें जिसमें क्रॉलर का नाम हो। न मिले तोUser-agent: *वाला ग्रुप लागू होता है; दोनों न हों तो सब कुछ अनुमत है। - पेज को क्रॉलर बनकर फ़ेच करें
क्रॉलर के user agent से पेज मांगें और स्टेटस व साइज़ की तुलना ब्राउज़र से करें। 403, चैलेंज पेज या काफ़ी छोटा 200 बताता है कि फ़ायरवॉल उसे मना कर रहा है।
अक्सर पूछे जाने वाले प्रश्न
क्या robots.txt के बिना साइट AI क्रॉलर के लिए खुली है?
हां, जहां तक robots.txt की बात है। robots.txt पर 404 का मतलब है कि कोई नियम नहीं है, इसलिए हर क्रॉलर हर पेज फ़ेच कर सकता है। फ़ायरवॉल फिर भी क्रॉलर को ब्लॉक कर सकता है।
क्या एक्सटेंशन फ़ायरवॉल के ब्लॉक दिखाता है?
नहीं। यह आपके ब्राउज़र से robots.txt पढ़ता है, जिससे पता चलता है कि साइट क्रॉलर से क्या करने को कहती है। फ़ायरवॉल और बॉट सुरक्षा के ब्लॉक देखने के लिए क्रॉलर बनकर भेजा गया अनुरोध चाहिए, और यह काम aiseewhy.com पर पूरी जांच करती है।
क्या मैं ऐसी साइट जांच सकता हूं जो मेरी नहीं है?
हां। robots.txt सार्वजनिक है, और एक्सटेंशन सिर्फ़ वही robots.txt और llms.txt फ़ाइलें पढ़ता है जो साइट प्रकाशित करती है, यानी वही फ़ाइलें जो हर क्रॉलर पढ़ता है।
पूरी गाइड पढ़ें
चाहे आप किसी बदलाव के बाद अपनी साइट जांच रहे हों या किसी और की साइट पर भरोसा करने से पहले उसे देख रहे हों, “क्या यह साइट AI क्रॉलर को ब्लॉक करती है?” इस सवाल का सटीक जवाब होता है। जवाब इस पर निर्भर करता है कि आपका मतलब किस क्रॉलर से है, क्योंकि AI कंपनियां ट्रेनिंग, सर्च और लाइव विज़िट के लिए अलग-अलग क्रॉलर चलाती हैं, और साइट हर एक के साथ अलग बर्ताव कर सकती है। यह गाइड तीन जांचें बताती है, सबसे तेज़ से लेकर सबसे पूरी तक।
साइट AI क्रॉलर को कहां ब्लॉक कर सकती है?
तीन परतें होती हैं, और किसी पेज का इस्तेमाल करने के लिए क्रॉलर को तीनों पार करनी होती हैं।
- robots.txt: नियमों की एक सार्वजनिक फ़ाइल, जिसे नियम मानने वाले क्रॉलर कुछ भी फ़ेच करने से पहले पढ़ते हैं। यह एक अनुरोध है, ताला नहीं।
- सर्वर, CDN या फ़ायरवॉल: यही तय करता है कि असल में क्या लौटाया जाए। बॉट सुरक्षा का कोई नियम क्रॉलर को 403, 429 या चैलेंज पेज दे सकता है, भले ही robots.txt उसे अनुमति देता हो।
- खुद पेज: अगर मुख्य टेक्स्ट JavaScript चलने के बाद ही दिखता है, तो शुरुआती HTML पढ़ने वाले क्रॉलर को लगभग खाली पेज मिलता है, जबकि उसे किसी ने ब्लॉक नहीं किया।
ज़्यादातर तेज़ जांचें सिर्फ़ पहली परत देखती हैं। शुरुआत के लिए यह ठीक है, बस बाकी दो परतें याद रखें।
एक AI क्रॉलर के लिए robots.txt कैसे पढ़ूं?
ब्राउज़र में https://example.com/robots.txt खोलें और वह ग्रुप ढूंढें जो उस क्रॉलर पर लागू होता है। ग्रुप एक या ज़्यादा User-agent लाइनों से शुरू होता है। क्रॉलर वह ग्रुप इस्तेमाल करता है जिसमें उसका टोकन लिखा हो, जैसे GPTBot; मिलान में बड़े-छोटे अक्षरों का फ़र्क नहीं पड़ता। अगर किसी ग्रुप में उसका नाम नहीं है, तो वह User-agent: * ग्रुप इस्तेमाल करता है। अगर दोनों में से कुछ नहीं है, तो सब कुछ अनुमत है।
ग्रुप के अंदर सबसे लंबे मेल खाने वाले पाथ वाला नियम जीतता है, और जब Allow और Disallow बराबर लंबे हों, तो Allow जीतता है। इसलिए नीचे दी गई फ़ाइल GPTBot को पूरी साइट से ब्लॉक करती है, पर बाकी हर क्रॉलर को आने देती है:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / यह भी देखें कि फ़ाइल किस तरह जवाब देती है। RFC 9309 के अनुसार 404 का मतलब है कि कोई नियम नहीं है, यानी सब कुछ अनुमत है। सर्वर एरर (5xx) या कोई जवाब न मिलने पर क्रॉलर को पूरी साइट disallow माननी होती है। robots.txt के पते पर HTML पेज लौटना एक आम गलती है: क्रॉलर को उसमें कोई मान्य नियम नहीं मिलता।
सभी AI क्रॉलर एक साथ कैसे जांचूं?
जब एक से ज़्यादा क्रॉलर की परवाह हो, तो फ़ाइल को हाथ से पढ़ना धीमा हो जाता है। हर AI कंपनी कई क्रॉलर चलाती है, जिनके काम अलग-अलग हैं:
- ट्रेनिंग क्रॉलर मॉडल की ट्रेनिंग के लिए सामग्री इकट्ठा करते हैं:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, साथ हीGoogle-ExtendedऔरApplebot-Extendedटोकन, जो सिर्फ़ robots.txt में दिखते हैं। - सर्च क्रॉलर पेजों को इंडेक्स करते हैं ताकि AI उत्तर उनका हवाला दे सकें:
OAI-SearchBot,Claude-SearchBot,PerplexityBot। - उपयोगकर्ता क्रॉलर तब पेज फ़ेच करते हैं जब कोई व्यक्ति असिस्टेंट से ऐसा करने को कहता है:
ChatGPT-User,Claude-User,Perplexity-User।
Chrome के लिए मुफ़्त AI क्रॉलर चेकर एक्सटेंशन यह काम एक क्लिक में करता है। कोई भी पेज खोलें, आइकन पर क्लिक करें, और यह उस साइट का robots.txt पढ़कर 16 क्रॉलर में से हर एक के लिए दिखाता है कि पेज अनुमत है या नहीं और कौन-सी लाइन यह तय करती है। यह Content-Signal प्राथमिकताएं, साइट पर llms.txt है या नहीं, और robots.txt में दिए गए साइटमैप भी दिखाता है। यह आपके ब्राउज़र में चलता है, इसके लिए खाते की ज़रूरत नहीं है, और यह सिर्फ़ वही साइट पढ़ता है जिस पर आप इसे क्लिक करते हैं।
Chrome के बिना, aiseewhy.com पर मुफ़्त robots.txt चेकर आपके पेस्ट किए गए URL के लिए यही जवाब देता है।
कैसे जांचूं कि फ़ायरवॉल उन्हें आने देता है या नहीं?
robots.txt बताता है कि साइट क्या चाहती है। क्रॉलर को असल में क्या मिलता है, यह देखने के लिए पेज दो बार मांगें, एक बार ब्राउज़र की तरह और एक बार क्रॉलर के यूज़र एजेंट के साथ, और स्टेटस कोड व जवाब के आकार की तुलना करें:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page अगर ब्राउज़र को 200 मिलता है और क्रॉलर को 403, 429 या 503, या काफ़ी छोटा पेज, तो फ़ायरवॉल या बॉट सुरक्षा क्रॉलर के साथ अलग बर्ताव कर रही है। हर बाहरी टेस्ट की एक सीमा है: अनुरोध आपके नेटवर्क से जाता है, AI कंपनी के नेटवर्क से नहीं। जो फ़ायरवॉल क्रॉलर को उनके प्रकाशित IP पतों से पहचानकर भरोसा करता है, वह असली क्रॉलर के साथ अलग बर्ताव कर सकता है, इसलिए आखिरी फ़ैसला आपके सर्वर लॉग का होता है।
aiseewhy.com पर पूरी जांच पेज को असली ब्राउज़र के साथ-साथ सभी 16 क्रॉलर बनकर फ़ेच करती है, क्रॉलर को ब्लॉक करने वाले फ़ायरवॉल या नियम का नाम बताती है, और हर एक को मिले टेक्स्ट की तुलना करती है।
मुझे किस नतीजे का लक्ष्य रखना चाहिए?
यह इस पर निर्भर है कि आप क्या चाहते हैं। अगर आप ChatGPT सर्च, Claude और Perplexity में हवाला पाना चाहते हैं, तो सर्च और उपयोगकर्ता क्रॉलर को robots.txt में अनुमति होनी चाहिए और सर्वर से उन्हें असली पेज मिलना चाहिए। अगर आप नहीं चाहते कि आपकी सामग्री ट्रेनिंग में इस्तेमाल हो, तो सिर्फ़ ट्रेनिंग टोकन ब्लॉक करें। ये अलग-अलग फ़ैसले हैं: GPTBot को ब्लॉक करने से OAI-SearchBot ब्लॉक नहीं होता, और ClaudeBot को ब्लॉक करने से Claude-SearchBot ब्लॉक नहीं होता।
कई साइटें इन्हें आपस में मिला देती हैं। 1,000 सबसे लोकप्रिय डोमेन पर हमारी नवंबर 2026 की रिपोर्ट में, ट्रेनिंग क्रॉलर ब्लॉक करने वाली 63% साइटें कम से कम एक AI सर्च या उपयोगकर्ता क्रॉलर को भी ब्लॉक करती हैं, जिससे उनके पेज उन AI उत्तरों से बाहर रह जाते हैं।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- llms.txt चेकर और वैलिडेटर
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
स्रोत
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रॉलरों का अवलोकन
- Anthropic: क्या Anthropic वेब से डेटा क्रॉल करता है, और साइट मालिक क्रॉलर को कैसे ब्लॉक कर सकते हैं?
- Perplexity: Perplexity क्रॉलर
- Google: आम क्रॉलर, जिनमें Google-Extended भी शामिल है
- AISeeWhy: AI क्रॉलर पहुंच रिपोर्ट, 2026-11