robots.txt एउटा HTML पेज हो
/robots.txt ठेगानाले HTML कागजात दिन्छ, प्रायः स्थिति 200 सहित 404 पेज वा गृहपेज। क्रलरले HTML बाट कुनै नियम पढ्न सक्दैनन्। त्यो पाथमा सादा पाठको robots.txt दिनुहोस्, वा कुनै नियम छैन भने वास्तविक 404 स्थिति फर्काउनुहोस्।
यसको अर्थ
robots.txt को ठेगानाले HTML फर्काउँछ (प्रायः स्थिति 200 सहित पठाइएको 404 पेज), त्यसैले क्रलरले कुनै नियम पढ्न सक्दैनन्।
AI सर्चका लागि यो किन महत्त्वपूर्ण छ
क्रलरले robots.txt लाइन-लाइन पढ्छन् र नबुझेको कुरा बेवास्ता गर्छन्, त्यसैले HTML पेजले तिनलाई न कुनै नियम दिन्छ न Sitemap लाइन। ट्रेनिङ क्रलर ब्लक गर्ने वा सर्च क्रलरलाई अनुमति दिने जस्तो तपाईंले चाहेको नीति लागू हुँदैन, र त्यहाँ घोषित sitemap भेटिँदैनन्।
यो प्रायः single-page app र हरेक अज्ञात पाथलाई app shell र स्थिति 200 सहित जवाफ दिने catch-all route मा हुन्छ। AISeeWhy ले Content-Type हेडर होइन, body हेरेर निर्णय गर्छ, किनभने क्रलरले पनि त्यसै गर्छन्: text/html का रूपमा दिइएको पाठ फाइल पनि पढिन्छ, HTML पेज पढिँदैन।
यसलाई कसरी सच्याउने
/robots.txtखोल्नुहोस् र source हेर्नुहोस्: यो<!doctypeवा<htmlबाट सुरु हुन्छ भने फाइल छैन र fallback route ले जवाफ दिइरहेको छ।- वास्तविक फाइल थप्नुहोस्: Next.js, Vite वा Create React App मा
public/robots.txt, nginx वा Apache मा वेब रुट, वा Shopify माrobots.txt.liquidटेम्प्लेट। - nginx मा static फाइल जाँच हुनुअघि
try_files ... /index.htmlfallback ले/robots.txtसमात्दैन भन्ने पक्का गर्नुहोस्; आवश्यक भएlocation = /robots.txtथप्नुहोस्। - अज्ञात पाथका लागि स्थिति 404 पठाउने गरी आफ्नो catch-all route सच्याउनुहोस्। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।
उदाहरण
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml समाधान कसरी पुष्टि गर्ने
परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।