क्या Cloudflare AI क्रॉलर ब्लॉक कर रहा है? पता लगाएं और ठीक करें
Cloudflare और दूसरे फ़ायरवॉल AI क्रॉलर को 403, 429 या «Just a moment...» चैलेंज पेज लौटा सकते हैं, जबकि ब्राउज़र को असली पेज मिलता है, भले ही robots.txt क्रॉलर को अनुमति देता हो। क्रॉलर के user agent से पेज मांगकर जांचें, फिर AI Crawl Control में या WAF skip rule से AI सर्च क्रॉलर को अनुमति दें।
बॉट प्रोटेक्शन स्क्रैपर और दुरुपयोग रोकने के लिए है, और इसमें अच्छा भी है। दिक्कत यह है कि AI सर्च क्रॉलर भी बॉट ही हैं। सालों पहले चालू की गई कोई सुरक्षा सेटिंग, रेट लिमिट, या अज्ञात user agent के खिलाफ़ कोई व्यापक नियम चुपचाप उन क्रॉलर को बाहर रख सकता है जो आपका हवाला देते हैं, जबकि आपके अपने विज़िट बिल्कुल सामान्य दिखते हैं।
इस पेज पर
फ़ायरवॉल AI क्रॉलर को ब्लॉक क्यों करेगा?
फ़ायरवॉल हर अनुरोध को परखता है। क्रॉलर JavaScript चैलेंज नहीं चलाता, ब्राउज़र की तरह कुकी नहीं रखता और अक्सर एक के बाद एक कई पेज मांगता है, इसलिए वह ठीक उसी ट्रैफ़िक जैसा दिख सकता है जिसे बॉट प्रोटेक्शन रोकने के लिए बना है। आम कारण:
- बॉट प्रोटेक्शन की ऐसी सुविधाएं जो जाने-पहचाने बॉट पैटर्न वाले ट्रैफ़िक को चैलेंज करती हैं। उदाहरण के लिए Cloudflare का Bot Fight Mode बॉट को गणना के लिहाज़ से महंगे चैलेंज देता है।
- WAF के कस्टम नियम जो «bot» या «crawler» जैसे शब्दों वाले user agent को ब्लॉक या चैलेंज करते हैं, या सिर्फ़ सर्च इंजनों की छोटी सूची को अनुमति देते हैं।
- ऐसी सेटिंग जो AI क्रॉलर को एक श्रेणी के तौर पर ब्लॉक करती हैं। Cloudflare आपको Search, Agent और Training क्रॉलर के लिए नीतियां तय करने देता है, और वहां Block सेटिंग सब पर लागू होती है।
- रेट लिमिटिंग जो क्रॉलर के तेज़ अनुरोधों के क्रम को 429 से जवाब देती है।
- देश या ASN के ब्लॉक जो संयोग से उन नेटवर्क को भी ढक लेते हैं जिनसे क्रॉलर चलते हैं।
फ़ायरवॉल ब्लॉक और robots.txt ब्लॉक में फ़र्क़ कैसे पहचानूं?
robots.txt का ब्लॉक एक विनम्र अनुरोध है: क्रॉलर आपके नियम पढ़ता है और पेज फ़ेच नहीं करता। फ़ायरवॉल का ब्लॉक एक जवाब है: क्रॉलर पेज मांगता है और उसे कुछ और मिलता है। दूसरी तरह को आप सीधे देख सकते हैं। पेज को दो बार मांगें, एक बार ब्राउज़र user agent से और एक बार क्रॉलर के user agent से, और तुलना करें।
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
doneफ़ायरवॉल ब्लॉक के संकेत: सिर्फ़ क्रॉलर के लिए status 403, 429 या 503; Just a moment... या Attention Required! | Cloudflare शीर्षक वाला पेज; ऐसी बॉडी जिसमें /cdn-cgi/challenge-platform हो; या ऐसा 200 जवाब जो ब्राउज़र के जवाब से काफ़ी छोटा हो। ध्यान रखें कि आपका टेस्ट आपके अपने IP से आता है, क्रॉलर की सत्यापित IP रेंज से नहीं, इसलिए यह दिखाता है कि फ़ायरवॉल user agent के साथ कैसा बर्ताव करता है, असली क्रॉलर के साथ उसके बर्ताव का हर ब्योरा नहीं।
Cloudflare में AI सर्च क्रॉलर को अनुमति कैसे दूं?
Cloudflare का AI Crawl Control, जो सभी प्लान में उपलब्ध है, आपके डोमेन पर आने वाले AI क्रॉलर की सूची दिखाता है और हर एक के लिए एक्शन तय करने देता है। डैशबोर्ड में AI Crawl Control खोलें, Crawlers सूची पर जाएं और हर क्रॉलर के लिए Action कॉलम में Allow या Block चुनें। Cloudflare के अनुसार वहां ब्लॉक करने से आपके zone पर एक WAF कस्टम नियम बनता या अपडेट होता है।
अगर क्रॉलर को WAF कस्टम नियम, Super Bot Fight Mode या रेट लिमिटिंग ब्लॉक कर रही है, तो एक कस्टम नियम जोड़ें जो सत्यापित बॉट और क्रॉलर के टोकन के लिए उन सुविधाओं को छोड़ दे:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allowनियम को सबसे पहले रखें। ध्यान दें कि user agent से मिलान उन्हें भी अंदर आने देता है जो वह user agent नक़ली लगाते हैं। जहां संभव हो, सत्यापित बॉट फ़ील्ड (cf.client.bot) या वेंडर की प्रकाशित IP रेंज को प्राथमिकता दें।
Bot Fight Mode का क्या?
Cloudflare के दस्तावेज़ साफ़ कहते हैं कि Bot Fight Mode को WAF कस्टम नियमों या Page Rules से बायपास या स्किप नहीं किया जा सकता। अगर क्रॉलर को यही सुविधा चैलेंज कर रही है, तो skip rule काम नहीं आएगी। विकल्प हैं Bot Fight Mode बंद करना, या ऐसे प्लान पर Super Bot Fight Mode इस्तेमाल करना जिसमें वह हो, जो Ruleset Engine पर चलता है और skip rule को सपोर्ट करता है।
मुझे कौन-से क्रॉलर अंदर आने देने चाहिए?
क्रॉलर को उनके काम के हिसाब से अलग करें। सर्च और यूज़र-फ़ेच क्रॉलर तय करते हैं कि AI उत्तर आपको ढूंढकर आपका हवाला दे सकते हैं या नहीं। ट्रेनिंग क्रॉलर मॉडल के लिए डेटा जुटाते हैं, और उन्हें ब्लॉक करना जायज़ चुनाव है जो आपको AI सर्च से नहीं हटाता।
- सर्च:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot। - यूज़र फ़ेच:
ChatGPT-User,Claude-User,Perplexity-User। - ट्रेनिंग:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider।
Cloudflare की अपनी नीति सेटिंग भी Search, Agent और Training का यही विभाजन इस्तेमाल करती हैं, इसलिए आप पहले दो को allow करके तीसरे पर अलग से फ़ैसला ले सकते हैं। अगर आप कोई और फ़ायरवॉल या CDN इस्तेमाल करते हैं, तो सिद्धांत वही है: क्रॉलर के टोकन को allowlist में रखें, वेंडर की प्रकाशित IP रेंज या जहां उपलब्ध हो रिवर्स DNS से सत्यापित करके, ताकि उसे वही जवाब मिले जो ब्राउज़र को मिलता है।
AISeeWhy फ़ायरवॉल ब्लॉक कैसे पहचानता है?
AISeeWhy आपका पेज 14 क्रॉलर और एक सामान्य ब्राउज़र के रूप में मांगता है, status, साइज़ और रीडायरेक्ट की तुलना करता है, चैलेंज पेज पहचानता है और जवाब देने वाले फ़ायरवॉल या CDN का नाम बताता है। जब robots.txt किसी क्रॉलर को अनुमति देता है पर सर्वर उसे ब्लॉक करता है, तो रिपोर्ट यह टकराव दिखाती है और सुधार के लिए Cloudflare का नियम या allowlist का कदम बताती है।
अक्सर पूछे जाने वाले प्रश्न
क्या Cloudflare डिफ़ॉल्ट रूप से AI क्रॉलर ब्लॉक करता है?
यह आपके अकाउंट, प्लान और zone की सेटिंग पर निर्भर करता है, और Cloudflare ने समय के साथ ये विकल्प बदले हैं। मानकर चलने की जगह AI Crawl Control और अपनी बॉट सेटिंग देखें, और क्रॉलर के user agent से टेस्ट करें।
मेरी साइट ब्राउज़र में क्यों चलती है पर क्रॉलर के लिए नहीं?
फ़ायरवॉल हर अनुरोध को परखता है। ब्राउज़र JavaScript चैलेंज पास कर लेता है और कुकी रखता है; क्रॉलर नहीं रखता, इसलिए उसे चैलेंज पेज या 403 मिल सकता है जो आपको कभी दिखता ही नहीं।
क्या WAF में AI क्रॉलर को अनुमति देना सुरक्षित है?
अगर आप किसी नामित क्रॉलर को वेंडर की IP रेंज या Cloudflare के सत्यापित बॉट सिग्नल से जांचकर अनुमति देते हैं, तो जोखिम कम है। जो नियम सिर्फ़ user agent पर भरोसा करते हैं, वे उसकी नक़ल करने वाले किसी को भी अंदर आने देते हैं।
क्या Cloudflare की ईमेल ऑब्फ़स्केशन सुविधा AI क्रॉलर पर असर डालती है?
यह ईमेल एड्रेस को ऐसे लिंक से बदल देती है जिसे सिर्फ़ स्क्रिप्ट डिकोड करती है, इसलिए क्रॉलर को एड्रेस की जगह प्लेसहोल्डर दिखता है। अगर आप चाहते हैं कि आपका संपर्क ईमेल पढ़ा जा सके, तो Scrape Shield के तहत Email Address Obfuscation बंद करें और एड्रेस सादे टेक्स्ट में दिखाएं।
स्रोत
- Cloudflare: AI Crawl Control
- Cloudflare: AI क्रॉलर का प्रबंधन (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI क्रॉलर और एजेंट की एक्सेस नीतियां
- OpenAI: OpenAI क्रॉलरों का अवलोकन