2 पेजों ने क्रॉल से इनकार किया
जब ऑडिट ने इन पेजों को ब्राउज़र की तरह फ़ेच किया, तो इन्होंने 401, 403, 429 या 503 दिया, या टाइमआउट हो गए। अक्सर यह टूटा पेज नहीं बल्कि फ़ायरवॉल, बॉट सुरक्षा या रेट लिमिट होता है। जाँचें कि क्या सर्च और AI क्रॉलर को भी यही जवाब मिलता है।
इसका मतलब
इन पेजों ने 401, 403, 429 या 503 लौटाया, या टाइम आउट हो गए। हो सकता है कोई फ़ायरवॉल या रेट लिमिट क्रॉलरों को भी रोक रहा हो। जाँचें कि सर्च और AI क्रॉलरों को एक ही जवाब मिलता है या नहीं।
AI सर्च के लिए यह क्यों मायने रखता है
ऑडिट एक ही सर्वर से कम समय में कई पेज फ़ेच करता है, इसलिए रेट लिमिट 429 या 503 दे सकती है, भले ही लोगों को पेज मिल रहा हो। अगर यही नियम सर्च और AI क्रॉलर पर लागू होता है, तो ये पेज उनके इंडेक्स के लिए फ़ेच नहीं होते और AI उत्तरों में उद्धृत नहीं हो सकते।
401 का मतलब है कि पेज लॉगिन माँगता है, जो अकाउंट वाले हिस्सों के लिए अपेक्षित है लेकिन सार्वजनिक कंटेंट के लिए नहीं। हर पेज पर 503 का मतलब हो सकता है कि मेंटेनेंस मोड चालू रह गया। इन पेजों को टूटे लिंक से अलग रखा गया है क्योंकि सुधार इस पर निर्भर करता है कि किसे मना किया जा रहा है।
इसे कैसे ठीक करें
- सूची के कुछ URL प्राइवेट ब्राउज़र विंडो में खोलें। अगर वे लोड होते हैं, तो ब्लॉक ऑटोमेटेड अनुरोधों पर लक्षित है।
- अपने फ़ायरवॉल, CDN या होस्टिंग लॉग में मना किए गए अनुरोध खोजें। पक्का करें कि Googlebot और Bingbot जैसे सत्यापित सर्च क्रॉलर, और जिन AI सर्च क्रॉलर को आप चाहते हैं, उन्हें अनुमति है; Cloudflare समेत कई CDN में सत्यापित बॉट के लिए एक सेटिंग होती है।
- अगर वजह रेट लिमिट थी, तो सामान्य पेज अनुरोधों के लिए सीमा बढ़ाएँ या HTML पेजों को उससे बाहर रखें।
- अगर पेज 401 देते हैं, तो सार्वजनिक पेजों से लॉगिन हटाएँ, या सार्वजनिक पेजों से निजी पेजों पर लिंक करना बंद करें।
- नतीजा पक्का करने के लिए अपने अकाउंट से साइट ऑडिट दोबारा चलाएँ।
सुधार की पुष्टि कैसे करें
बदलाव के बाद रिपोर्ट पर "दोबारा जाँचें" दबाएँ: यह बताती है कि क्या ठीक हुआ और स्कोर कैसे बदला।