हमारी जाँच को ब्लॉक किया गया, नतीजा अनिर्णायक है
ऑडिट का सामान्य ब्राउज़र अनुरोध भी ब्लॉक स्टेटस, त्रुटि या चैलेंज पेज के साथ ठुकरा दिया गया, इसलिए क्रॉलर की पहुँच का आकलन नहीं हो सकता। इसका मतलब यह नहीं कि क्रॉलर ब्लॉक हैं। ऑडिट को थोड़ी देर के लिए अनुमति सूची में डालें या दूसरे नेटवर्क से चलाएँ, फिर क्रॉलर के नतीजे दोबारा मिलाएँ।
इसका मतलब
हमारे सर्वर से ब्राउज़र जैसे अनुरोध को भी स्टेटस 403 या चैलेंज पेज मिला, इसलिए यहाँ से बॉट की पहुँच का आकलन नहीं हो सकता। ऑडिट किसी दूसरे नेटवर्क से चलाएँ या कुछ देर के लिए ऑडिट को अनुमति सूची में डालें।
AI सर्च के लिए यह क्यों मायने रखता है
AISeeWhy में पहुँच का हर फ़ैसला क्रॉलर के जवाब की तुलना उसी सर्वर से भेजे गए ब्राउज़र अनुरोध से करता है। जब ब्राउज़र अनुरोध ही ब्लॉक हो जाता है, तो कोई आधार नहीं बचता, इसलिए ऑडिट वहीं रुक जाता है और ऐसे क्रॉलर ब्लॉक रिपोर्ट नहीं करता जो असली न हों।
आम कारण बॉट सुरक्षा है जो क्लाउड और डेटा-सेंटर IP रेंज के सारे ट्रैफ़िक को चैलेंज करती है, या Cloudflare के Under Attack मोड जैसा साइट-व्यापी मोड। यही नियम असली AI क्रॉलर पर भी असर डाल सकता है, जो खुद भी डेटा सेंटर से फ़ेच करते हैं, इसलिए देखना ठीक रहेगा कि वह उनके साथ कैसा बर्ताव करता है।
इसे कैसे ठीक करें
- निष्कर्ष के सबूत में स्टेटस और पहचाना गया WAF पढ़ें।
- Cloudflare पर ब्लॉक हुए अनुरोध के लिए Security → Events देखें और पता करें कि कौन-सा नियम चला: Under Attack मोड, JavaScript चैलेंज, देश या ASN ब्लॉक, या रेट लिमिट।
- जो नियम हर विज़िटर को चैलेंज करता है उसे अस्थायी रूप से ढीला करें, या ऑडिट को कुछ देर के लिए अनुमति सूची में डालें, फिर "दोबारा जाँचें" चलाएँ। ब्राउज़र अनुरोध सामान्य Chrome user agent इस्तेमाल करता है, इसलिए केवल user agent का अपवाद काम नहीं आएगा।
- जब ब्राउज़र अनुरोध पास हो जाए, तो क्रॉलर की पंक्तियाँ देखें: वे अब दिखाती हैं कि हर क्रॉलर को अनुमति है या नहीं।
सुधार की पुष्टि कैसे करें
बदलाव के बाद रिपोर्ट पर "दोबारा जाँचें" दबाएँ: यह बताती है कि क्या ठीक हुआ और स्कोर कैसे बदला।