robots.txt ल्याउन सकिँदैन
/robots.txt ल्याउन सकिएन: सर्भरले 5xx स्थिति वा 429 दियो, वा जवाफै दिएन। RFC 9309 अनुसार त्यसपछि क्रलरले पूरै साइटलाई निषेधित मान्छन्। /robots.txt ले सादा पाठसहित स्थिति 200 दिने बनाउनुहोस्, वा कुनै नियम छैन भने 404।
यसको अर्थ
robots.txt ले स्थिति 403 दियो वा जवाफ दिएन। RFC 9309 अनुसार त्यसपछि क्रलरले पूरै साइटलाई निषेधित मान्छन्।
AI सर्चका लागि यो किन महत्त्वपूर्ण छ
RFC 9309 भन्छ, सर्भर त्रुटिका कारण robots.txt सम्म पुग्न नसक्ने क्रलरले पूरै निषेध मान्नुपर्छ। मानक पालना गर्ने Googlebot, Bingbot र AI क्रलरले robots.txt ले फेरि जवाफ नदिएसम्म पेज ल्याउन रोक्छन्, त्यसैले एउटा बिग्रिएको फाइलले पूरै साइट लुकाउन सक्छ।
फाइल नहुनु फरक कुरा हो: 404 वा अर्को 4xx स्थितिको अर्थ कुनै नियम छैन, त्यसैले सबै कुरा अनुमति छ र AISeeWhy ले केही रिपोर्ट गर्दैन। समस्या सर्भर त्रुटि, rate limit (429) र कुनै स्थिति फर्कनुअघि नै समय सकिने वा अस्वीकार हुने अनुरोध मात्र हुन्।
यसलाई कसरी सच्याउने
- आफ्नो नेटवर्कबाहिरबाट
https://your-domain/robots.txtखोल्नुहोस् र स्थिति टिप्नुहोस्। अडिटले यसलाई ब्राउजरको user agent सहित ल्याउँछ। - 5xx भए origin को route जाँच्नुहोस्: Next.js जस्ता फ्रेमवर्कले यसलाई
public/robots.txtवाapp/robots.tsबाट दिन्छन्, WordPress ले यसलाई गतिशील रूपमा बनाउँछ, त्यसैले PHP त्रुटिले यसलाई बिगार्छ। - 429 वा टाइमआउट भए आफ्नो CDN वा WAF मा
/robots.txtलाई rate limiting र बट च्यालेन्जबाट छुट दिनुहोस्। - origin ढिलो हुँदा पनि जवाफ दिन सकोस् भनेर robots.txt लाई CDN मा cache गर्नुहोस्। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।
समाधान कसरी पुष्टि गर्ने
परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।