2 पेजले क्रल अस्वीकार गरे
अडिटले यी पेजलाई ब्राउजरका रूपमा ल्याउँदा तिनले 401, 403, 429 वा 503 दिए, वा समय सकियो। यो प्रायः पेज बिग्रिनु होइन, फायरवाल, बट सुरक्षा वा rate limit हुन्छ। सर्च र AI क्रलरले पनि उही जवाफ पाउँछन् कि जाँच्नुहोस्।
यसको अर्थ
यी पेजले 401, 403, 429 वा 503 दिए, वा समय सकियो। फायरवाल वा rate limit ले क्रलरलाई पनि रोकिरहेको हुन सक्छ; सर्च र AI क्रलरले पनि उही जवाफ पाउँछन् कि जाँच्नुहोस्।
AI सर्चका लागि यो किन महत्त्वपूर्ण छ
अडिटले एउटै सर्भरबाट छोटो समयमा धेरै पेज ल्याउँछ, त्यसैले मानिसले पेज पाउँदा पनि rate limit ले 429 वा 503 दिन सक्छ। उही नियम सर्च र AI क्रलरमा लागू हुन्छ भने यी पेज तिनका इन्डेक्सका लागि ल्याइँदैनन् र AI उत्तरमा उद्धृत हुन सक्दैनन्।
401 को अर्थ पेजलाई लगइन चाहिन्छ, जुन खाता क्षेत्रका लागि अपेक्षित हो तर सार्वजनिक सामग्रीका लागि होइन। हरेक पेजमा 503 को अर्थ maintenance mode खुलै छोडिएको हुन सक्छ। यी पेजलाई टुटेका लिंकबाट छुट्टै राखिन्छ, किनभने समाधान कसलाई अस्वीकार गरिँदैछ भन्नेमा निर्भर हुन्छ।
यसलाई कसरी सच्याउने
- सूचीका केही URL private ब्राउजर window मा खोल्नुहोस्। ती लोड हुन्छन् भने ब्लक स्वचालित अनुरोधलाई लक्षित गरिएको हो।
- आफ्नो फायरवाल, CDN वा होस्टिङका लगमा अस्वीकार गरिएका अनुरोध खोज्नुहोस्। Googlebot र Bingbot जस्ता प्रमाणित सर्च क्रलर र तपाईंले चाहेका AI सर्च क्रलरलाई अनुमति छ भन्ने पक्का गर्नुहोस्; Cloudflare सहित धेरै CDN मा verified bots का लागि सेटिङ हुन्छ।
- rate limit ले गरेको हो भने सामान्य पेज अनुरोधका लागि सीमा बढाउनुहोस् वा HTML पेजलाई त्यसबाट बाहिर राख्नुहोस्।
- पेजले 401 दिन्छन् भने सार्वजनिक पेजबाट लगइन हटाउनुहोस्, वा सार्वजनिक पेजबाट निजी पेजमा लिंक गर्न छोड्नुहोस्।
- नतिजा पक्का गर्न आफ्नो खाताबाट साइट अडिट फेरि चलाउनुहोस्।
समाधान कसरी पुष्टि गर्ने
परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।