robots.txt ल्याउन सकिँदैन

छोटो उत्तर

/robots.txt ल्याउन सकिएन: सर्भरले 5xx स्थिति वा 429 दियो, वा जवाफै दिएन। RFC 9309 अनुसार त्यसपछि क्रलरले पूरै साइटलाई निषेधित मान्छन्। /robots.txt ले सादा पाठसहित स्थिति 200 दिने बनाउनुहोस्, वा कुनै नियम छैन भने 404।

robots.unreachable · प्राथमिकता: P1

यसको अर्थ

robots.txt ले स्थिति 403 दियो वा जवाफ दिएन। RFC 9309 अनुसार त्यसपछि क्रलरले पूरै साइटलाई निषेधित मान्छन्।

AI सर्चका लागि यो किन महत्त्वपूर्ण छ

RFC 9309 भन्छ, सर्भर त्रुटिका कारण robots.txt सम्म पुग्न नसक्ने क्रलरले पूरै निषेध मान्नुपर्छ। मानक पालना गर्ने Googlebot, Bingbot र AI क्रलरले robots.txt ले फेरि जवाफ नदिएसम्म पेज ल्याउन रोक्छन्, त्यसैले एउटा बिग्रिएको फाइलले पूरै साइट लुकाउन सक्छ।

फाइल नहुनु फरक कुरा हो: 404 वा अर्को 4xx स्थितिको अर्थ कुनै नियम छैन, त्यसैले सबै कुरा अनुमति छ र AISeeWhy ले केही रिपोर्ट गर्दैन। समस्या सर्भर त्रुटि, rate limit (429) र कुनै स्थिति फर्कनुअघि नै समय सकिने वा अस्वीकार हुने अनुरोध मात्र हुन्।

यसलाई कसरी सच्याउने

  1. आफ्नो नेटवर्कबाहिरबाट https://your-domain/robots.txt खोल्नुहोस् र स्थिति टिप्नुहोस्। अडिटले यसलाई ब्राउजरको user agent सहित ल्याउँछ।
  2. 5xx भए origin को route जाँच्नुहोस्: Next.js जस्ता फ्रेमवर्कले यसलाई public/robots.txt वा app/robots.ts बाट दिन्छन्, WordPress ले यसलाई गतिशील रूपमा बनाउँछ, त्यसैले PHP त्रुटिले यसलाई बिगार्छ।
  3. 429 वा टाइमआउट भए आफ्नो CDN वा WAF मा /robots.txt लाई rate limiting र बट च्यालेन्जबाट छुट दिनुहोस्।
  4. origin ढिलो हुँदा पनि जवाफ दिन सकोस् भनेर robots.txt लाई CDN मा cache गर्नुहोस्। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।

समाधान कसरी पुष्टि गर्ने

परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।

मेरो पेज जाँच्नुहोस् →

सम्बन्धित गाइड

सबै निष्कर्ष र स्कोर कसरी काम गर्छ