आमची चाचणी ब्लॉक झाली, निकाल अनिर्णित
ऑडिटची सामान्य ब्राउझर विनंतीसुद्धा ब्लॉक स्टेटस, त्रुटी किंवा चॅलेंज पेजसह नाकारली गेली, त्यामुळे क्रॉलर ॲक्सेसचा निर्णय घेता येत नाही. याचा अर्थ क्रॉलर ब्लॉक आहेत असा होत नाही. ऑडिटला थोड्या वेळासाठी allowlist करा किंवा दुसऱ्या नेटवर्कवरून चालवा, मग क्रॉलरच्या निकालांची पुन्हा तुलना करा.
याचा अर्थ काय
आमच्या सर्व्हरवरून केलेल्या ब्राउझर विनंतीलाही स्टेटस 403 किंवा चॅलेंज पेज मिळाले, त्यामुळे इथून बॉट ॲक्सेसचा अंदाज बांधता येत नाही. दुसऱ्या नेटवर्कवरून ऑडिट चालवा किंवा थोड्या वेळासाठी ऑडिटला allowlist मध्ये जोडा.
AI सर्चसाठी हे का महत्त्वाचे आहे
AISeeWhy मधील ॲक्सेसचा प्रत्येक निर्णय क्रॉलरच्या प्रतिसादाची त्याच सर्व्हरवरून पाठवलेल्या ब्राउझर विनंतीशी तुलना करतो. ब्राउझर विनंतीच ब्लॉक झाल्यास तुलनेसाठी आधार उरत नाही, त्यामुळे खरे नसू शकणारे क्रॉलर ब्लॉक नोंदवण्याऐवजी ऑडिट तिथेच थांबते.
याचे नेहमीचे कारण म्हणजे क्लाउड आणि डेटा सेंटर IP रेंजमधून येणाऱ्या सर्व ट्रॅफिकला चॅलेंज करणारे बॉट संरक्षण, किंवा Cloudflare च्या Under Attack mode सारखा संपूर्ण साइटवरचा मोड. हाच नियम खऱ्या AI क्रॉलरवरही परिणाम करू शकतो, कारण तेही डेटा सेंटरमधूनच पेजेस मिळवतात, त्यामुळे तो त्यांच्याशी कसा वागतो हे तपासणे योग्य ठरते.
हे कसे दुरुस्त करावे
- निष्कर्षाच्या पुराव्यातील स्टेटस आणि ओळखलेला WAF वाचा.
- Cloudflare वर ब्लॉक झालेल्या विनंतीसाठी Security → Events तपासा आणि कोणता नियम लागू झाला ते पाहा: Under Attack mode, JavaScript challenge, देश किंवा ASN ब्लॉक, किंवा rate limit.
- प्रत्येक अभ्यागताला चॅलेंज करणारा नियम तात्पुरता शिथिल करा, किंवा ऑडिटला काही क्षणांसाठी allowlist करा, मग "पुन्हा तपासा" चालवा. ब्राउझर विनंती सामान्य Chrome युजर एजंट वापरते, त्यामुळे फक्त युजर एजंटसाठी अपवाद केल्याने मदत होणार नाही.
- ब्राउझर विनंती पोहोचली की क्रॉलरच्या ओळी तपासा: आता त्या प्रत्येक क्रॉलरला परवानगी आहे की नाही ते दाखवतात.
उपाय काम करतो याची खात्री कशी करायची
बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.