मेरी साइट अचानक AI क्रॉलरों को ब्लॉक क्यों कर रही है?
जो साइट AI क्रॉलरों को ब्लॉक करने लगती है, उसमें लगभग हमेशा पांच में से किसी एक जगह बदलाव हुआ होता है: असल में भेजा जा रहा robots.txt, Cloudflare की AI क्रॉलर नीतियों जैसी कोई CDN सेटिंग, बॉट प्रोटेक्शन या रेट लिमिट, होस्टिंग का कोई डिफ़ॉल्ट, या ऐसा robots.txt जो अब एरर लौटाता है। आज का robots.txt और एक पेज हर क्रॉलर के रूप में फ़ेच करें, उनकी तुलना ब्राउज़र से और पहले वाली स्थिति से करें, और इन परतों को इसी क्रम में जांचें।
AI उत्तरों से गायब होने का फ़ैसला कोई नहीं करता। यह थीम अपडेट, सिक्योरिटी सेटिंग, माइग्रेशन या किसी प्रोवाइडर के बदले डिफ़ॉल्ट के साइड इफ़ेक्ट के रूप में होता है। ब्राउज़र में साइट अब भी सामान्य दिखती है, इसलिए बदलाव तब तक नज़र नहीं आता जब तक कोई ChatGPT या Perplexity से प्रोडक्ट के बारे में न पूछे और जवाब में प्रतिस्पर्धी न मिले। हर परत ऐसे निशान छोड़ती है जिन्हें आप बाहर से या अपने लॉग में जांच सकते हैं।
इस पेज पर
- क्या क्रॉलरों को मिलने वाला robots.txt बदल गया?
- क्या Cloudflare की 2026 की AI क्रॉलर नीतियों ने मेरी साइट की अनुमतियां बदल दीं?
- क्या बॉट प्रोटेक्शन या रेट लिमिट क्रॉलरों को पकड़ रहा है?
- क्या मेरे होस्टिंग प्रोवाइडर ने अपने डिफ़ॉल्ट बदले?
- क्या robots.txt एरर लौटा रहा है?
- कैसे पता करें कि यह कब शुरू हुआ?
- अगली बार इसे जल्दी कैसे पकड़ें?
क्या क्रॉलरों को मिलने वाला robots.txt बदल गया?
https://yourdomain.com/robots.txt फ़ेच करें और उसकी तुलना अपनी रिपॉज़िटरी या बैकअप वाली फ़ाइल से करें। डिस्क वाली फ़ाइल नहीं, भेजी जा रही फ़ाइल देखें, क्योंकि रास्ते में कई परतें उसे बदल सकती हैं:
- कोई डिप्लॉय
Disallow: /वाला स्टेजिंग robots.txt भेज देता है, या माइग्रेशन के बाद प्लेटफ़ॉर्म का डिफ़ॉल्ट रह जाता है। - साइट बिल्डर की कोई सेटिंग AI क्रॉलर नियम जोड़ देती है। उदाहरण के लिए Squarespace में Block known artificial intelligence crawlers विकल्प है जो robots.txt में 26 बॉट के नाम लिखता है और कहता है कि समय के साथ और जोड़े जा सकते हैं। यह डिफ़ॉल्ट रूप से बंद है, इसलिए किसी को इसे चालू करना पड़ता है, लेकिन बाद में सूची बढ़ सकती है।
- किसी SEO या सिक्योरिटी प्लगइन का अपडेट नए नियम लिखता है, या नया विकल्प जोड़ता है जिसे कोई चालू कर देता है।
- जब Bot Preference Sync चालू हो और कोई AI नीति Block या Disallow पर सेट हो, तो Cloudflare अपना managed robots.txt आपकी फ़ाइल के शुरू में जोड़ देता है। तब भेजी गई फ़ाइल
ClaudeBot,GPTBotऔर छह दूसरे ट्रेनिंग टोकन के लिएDisallow: /से शुरू होती है, भले ही आपकी अपनी फ़ाइल न बदली हो। - किसी ट्रेनिंग क्रॉलर के लिए बना नियम दूसरों पर भी कॉपी हो गया, जिनमें
OAI-SearchBot,Claude-SearchBotयाPerplexityBotजैसे सर्च क्रॉलर शामिल हैं।
Google Search Console की robots.txt रिपोर्ट पिछले 30 दिनों में Google के फ़ेच किए वर्शन दिखाती है, और हर बार फ़ाइल या फ़ेच का नतीजा बदलने पर नई एंट्री होती है। इसमें सिर्फ़ वही है जो Google ने देखा, लेकिन जब तक आपका सर्वर यूज़र एजेंट के हिसाब से robots.txt नहीं बदलता, AI क्रॉलरों को भी वही फ़ाइल मिली।
क्या Cloudflare की 2026 की AI क्रॉलर नीतियों ने मेरी साइट की अनुमतियां बदल दीं?
Cloudflare ने अपने AI क्रॉलर कंट्रोल कई बार बदले हैं, और कुछ बदलाव किसी के एडिट किए बिना ज़ोन का व्यवहार बदल देते हैं। 1 जुलाई 2025 से उसने साइन-अप पर नए डोमेन से पूछना शुरू किया कि AI क्रॉलरों को अनुमति दें या नहीं, और शुरुआती स्थिति ब्लॉक थी। 1 जुलाई 2026 को उसने अकेले Block AI bots स्विच की जगह अलग-अलग Search, Agent और Training नीतियां लाईं, Free समेत सभी प्लान के लिए।
ज़्यादातर साइटें मिले-जुले काम वाले क्रॉलरों पर अटकती हैं। Cloudflare के दस्तावेज़ कहते हैं कि Training वाली कार्रवाइयां उन क्रॉलरों पर भी लागू होती हैं जो सर्च और ट्रेनिंग दोनों के लिए इस्तेमाल होते हैं। जुलाई 2026 की उसकी घोषणा में कहा गया कि 15 सितंबर 2026 से Googlebot, Applebot और BingBot जैसे बहुउद्देशीय क्रॉलर उन ग्राहकों के लिए ब्लॉक होंगे जिन्होंने Training को ब्लॉक चुना, चाहे नए विकल्पों से या पुरानी Block AI bots सेटिंग से। इसलिए एक साल पहले सेट किया गया ट्रेनिंग ऑप्ट-आउट अब सर्च क्रॉलरों तक पहुंच सकता है।
नए डोमेन के डिफ़ॉल्ट समय के साथ अलग-अलग तरह से बताए गए हैं। उसी घोषणा में कहा गया कि 15 सितंबर 2026 से नए डोमेन पर विज्ञापन दिखाने वाले पेजों पर Training और Agent ब्लॉक होंगे, जबकि 2 नवंबर 2026 को अपडेट हुए नीति दस्तावेज़ कहते हैं कि नए डोमेन तीनों को Allow पर रखकर शुरू होते हैं। Security, फिर Settings खोलें, Bot traffic से फ़िल्टर करें और अपने ज़ोन के लिए AI Crawler and Agent access policies पढ़ें। Cloudflare AI Crawl Control पर हमारी गाइड हर सेटिंग समझाती है।
क्या बॉट प्रोटेक्शन या रेट लिमिट क्रॉलरों को पकड़ रहा है?
बॉट प्रोटेक्शन हर रिक्वेस्ट को परखता है, और क्रॉलर डेटा सेंटर से तेज़ी से बहुत सारे पेज फ़ेच करते हैं, जो बॉट का ही काम है। जो क्रॉलर पिछले महीने निकल जाता था, उसे चैलेंज पेज मिलने लग सकते हैं, जब उसका ऑपरेटर IP रेंज या क्रॉल की रफ़्तार बदलता है, या प्रोटेक्शन के नियम अपडेट होते हैं। Cloudflare का Bot Fight Mode एक आम वजह है, और Cloudflare कहता है कि इसे WAF कस्टम नियमों या Page Rules से बायपास या स्किप नहीं किया जा सकता, इसलिए जब तक यह चालू है, बाद में जोड़ा गया allow नियम मदद नहीं करेगा। एक साथ आई रिक्वेस्ट को 429 लौटाने वाली नई रेट लिमिट का भी व्यस्त क्रॉलर पर यही असर होता है।
बाहर से टेस्ट करें: एक पेज को ब्राउज़र के रूप में और दो AI सर्च क्रॉलरों के रूप में रिक्वेस्ट करें, फिर robots.txt को क्रॉलर के रूप में रिक्वेस्ट करें।
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt सिर्फ़ क्रॉलर के लिए 403, 429 या 503, Just a moment... शीर्षक वाला पेज, या ब्राउज़र से बहुत छोटा बॉडी, इसका मतलब है कि क्रॉलर के साथ अलग बर्ताव हो रहा है। टेस्ट आपके IP से आता है, वेंडर के IP से नहीं, इसलिए सत्यापित बॉट स्टेटस पर आधारित नियम असली क्रॉलर के साथ फिर भी अलग बर्ताव कर सकते हैं। फ़ायरवॉल का इवेंट लॉग बताता है कि किस नियम ने जवाब दिया।
क्या मेरे होस्टिंग प्रोवाइडर ने अपने डिफ़ॉल्ट बदले?
कुछ होस्ट AI ट्रैफ़िक को सर्वर पर ही, आपके अपने नियम चलने से पहले, फ़िल्टर करते हैं। उदाहरण के लिए SiteGround ने अगस्त 2025 में लिखा कि वह ट्रेनिंग डेटा इकट्ठा करने वाले AI क्रॉलरों को डिफ़ॉल्ट रूप से ब्लॉक करता है और उन क्रॉलरों को अनुमति देता है जो तब आते हैं जब कोई व्यक्ति AI असिस्टेंट से किसी पेज के बारे में पूछता है। ऐसे नियम आपके robots.txt में नहीं दिखते, और होस्ट के अपनी बॉट सूचियां अपडेट करने पर बदल सकते हैं।
अगर एक ही होस्ट वाली कई साइटों पर एक साथ ब्लॉक दिखे, या ऐसे जवाबों में जो कभी आपके ऐप्लिकेशन लॉग तक नहीं पहुंचते, तो होस्ट से पूछें कि आपके खाते पर कौन-से बॉट नियम लागू हैं और क्या आप उन क्रॉलरों को छूट दे सकते हैं जिन्हें आप रखना चाहते हैं।
क्या robots.txt एरर लौटा रहा है?
फ़ेल होने वाला robots.txt किसी भी Disallow लाइन से ज़्यादा ब्लॉक कर सकता है। RFC 9309 के तहत 4xx जवाब का मतलब है कि क्रॉलर सब कुछ फ़ेच कर सकता है, लेकिन सर्वर एरर (5xx) या कोई जवाब न मिलने का मतलब है कि उसे पूरी साइट disallow माननी होगी। ऐसे एरर के पहले 12 घंटे Google क्रॉल करना रोक देता है और फिर 30 दिन तक अपनी आख़िरी सही कॉपी इस्तेमाल करता है।
इसी तरह लोड में अचानक उछाल, /robots.txt पर चैलेंज दिखाने वाला फ़ायरवॉल नियम, या उसे शामिल करने वाली रेट लिमिट, एक भी नियम बदले बिना अच्छे क्रॉलरों को बाहर कर सकती है। ऊपर के टेस्ट की आख़िरी कमांड को 200 और text/plain लौटाना चाहिए। वहां 5xx, टाइमआउट या चैलेंज पेज सबसे पहले ठीक करने वाली चीज़ है।
कैसे पता करें कि यह कब शुरू हुआ?
तारीख़ मिल जाए तो रहस्य बस दो स्थितियों का फ़र्क़ रह जाता है। अपने एक्सेस लॉग में AI क्रॉलर यूज़र एजेंट की रिक्वेस्ट फ़िल्टर करें और वह दिन ढूंढें जब उनके स्टेटस कोड 200 से 403, 429 या 503 हो गए, या वह दिन जब उन्होंने robots.txt पढ़ने के बाद पेज मांगना बंद कर दिया; AI क्रॉलरों के लिए सर्वर लॉग जांचने पर हमारी गाइड में कमांड हैं। CDN की ब्लॉक की गई रिक्वेस्ट ओरिजिन तक कभी नहीं पहुंचतीं, इसलिए CDN भी जांचें। Cloudflare पर AI Crawl Control समय के साथ स्टेटस कोड का वितरण दिखाता है, जिसे आप क्रॉलर के हिसाब से फ़िल्टर कर सकते हैं।
फिर उस तारीख़ को डिप्लॉय, प्लगइन और थीम अपडेट, CDN सेटिंग में बदलाव और प्रोवाइडर की घोषणाओं से मिलाएं। कुछ करने से पहले पुष्टि करें कि स्रोत IP वेंडर के हैं, ताकि आप असली क्रॉलर देख रहे हों, उसका नाम इस्तेमाल करने वाला कोई नकली नहीं।
अगली बार इसे जल्दी कैसे पकड़ें?
हर डिप्लॉय, CDN बदलाव और प्लगइन अपडेट के बाद पहुंच जांचें, सिर्फ़ ट्रैफ़िक गिरने पर नहीं। AISeeWhy की मुफ़्त जांच किसी पेज को असली ब्राउज़र के साथ-साथ 16 AI और सर्च क्रॉलरों के रूप में फ़ेच करती है, हर क्रॉलर पर आपका robots.txt लागू करती है और फ़ायरवॉल के चैलेंज पेज पहचानती है। मुफ़्त robots.txt चेकर हर क्रॉलर के लिए दिखाता है कि आज लाइव फ़ाइल के तहत कोई पेज फ़ेच किया जा सकता है या नहीं।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- AI क्रॉलर IP जाँच
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
ChatGPT ने मेरी साइट दिखाना क्यों बंद कर दिया?
अक्सर इसलिए कि ChatGPT सर्च के पीछे वाला क्रॉलर OAI-SearchBot किसी robots.txt बदलाव, CDN नीति या बॉट प्रोटेक्शन से ब्लॉक हो गया। OpenAI कहती है कि जो साइटें इसे ब्लॉक करती हैं, वे ChatGPT सर्च के उत्तरों में नहीं दिखेंगी। उस क्रॉलर के लिए हर परत जांचें, और robots.txt ठीक करने के बाद लगभग 24 घंटे रुकें, क्योंकि OpenAI के अनुसार उसके सिस्टम को अपडेट होने में इतना समय लगता है।
क्या Cloudflare ने मेरी साइट पर Googlebot को ब्लॉक करना शुरू कर दिया?
ऐसा हो सकता है। Cloudflare ने कहा कि 15 सितंबर 2026 से Training ब्लॉक करने वाले ग्राहक Googlebot, Applebot और BingBot जैसे बहुउद्देशीय क्रॉलरों को भी ब्लॉक करते हैं। उसके दस्तावेज़ कहते हैं कि Training Disallow विकल्प ट्रेनिंग क्रॉलरों को edge पर ब्लॉक करता है लेकिन मिले-जुले इस्तेमाल वाले क्रॉलरों को छोड़ देता है, इसलिए जांचें कि आपका ज़ोन कौन-सा विकल्प इस्तेमाल करता है।
क्या वेबसाइट बिल्डर या प्लगइन मेरे लिए robots.txt बदल सकता है?
हां। साइट बिल्डर और SEO या सिक्योरिटी प्लगइन robots.txt में AI क्रॉलर नियम लिख सकते हैं, और कुछ समय के साथ अपनी बॉट सूचियां बढ़ाते रहते हैं। हर अपडेट के बाद लाइव फ़ाइल फ़ेच करें और उन सर्च क्रॉलरों पर लागू होने वाले ग्रुप पढ़ें जो आपके लिए मायने रखते हैं।
मेरा लाइव robots.txt सर्वर वाली फ़ाइल से अलग क्यों है?
आपके सर्वर के आगे कोई चीज़ उसे बदल रही है। उदाहरण के लिए Cloudflare का managed robots.txt उसी जवाब में आपकी फ़ाइल के शुरू में अपने नियम और content signals जोड़ देता है। मांगने पर robots.txt बनाने वाला CMS, या होस्ट-स्तर की कोई सेटिंग भी उसे बदल या बढ़ा सकती है।
ठीक करने के बाद AI क्रॉलर कितने समय में लौटते हैं?
RFC 9309 कहता है कि क्रॉलरों को कैश किया हुआ robots.txt 24 घंटे से ज़्यादा इस्तेमाल नहीं करना चाहिए, OpenAI लगभग 24 घंटे बताती है और Perplexity 24 घंटे तक। फ़ायरवॉल के बदलाव प्रोवाइडर के लागू करते ही असर में आ जाते हैं, लेकिन क्रॉलर अपने शेड्यूल पर लौटते हैं।
स्रोत
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers