robots.txt हे HTML पेज आहे
/robots.txt पत्ता HTML दस्तऐवज देतो, सहसा स्टेटस 200 सह दिलेले 404 पेज किंवा होम पेज. क्रॉलर HTML मधून कोणतेही नियम वाचू शकत नाहीत. त्या पाथवर साध्या मजकुराची robots.txt द्या, किंवा तुमचे कोणतेही नियम नसल्यास खरे 404 स्टेटस द्या.
याचा अर्थ काय
robots.txt चा पत्ता HTML देतो (बहुतेकदा स्टेटस 200 सह दिलेले 404 पेज), त्यामुळे क्रॉलर कोणतेही नियम वाचू शकत नाहीत.
AI सर्चसाठी हे का महत्त्वाचे आहे
क्रॉलर robots.txt ओळीनुसार पार्स करतात आणि न समजणाऱ्या गोष्टींकडे दुर्लक्ष करतात, त्यामुळे HTML पेजमधून त्यांना कोणतेही नियम आणि Sitemap ओळी मिळत नाहीत. ट्रेनिंग क्रॉलर ब्लॉक करणे किंवा सर्च क्रॉलरना परवानगी देणे यासारखे तुमचे अपेक्षित धोरण लागू होत नाही, आणि तिथे जाहीर केलेले sitemap सापडत नाहीत.
हे सहसा single-page ॲप्स आणि प्रत्येक अज्ञात पाथला ॲप शेल आणि स्टेटस 200 ने उत्तर देणाऱ्या catch-all routes मुळे होते. AISeeWhy Content-Type हेडरवरून नव्हे, तर बॉडीवरून निर्णय घेते, कारण क्रॉलरही तसेच करतात: text/html म्हणून दिलेली मजकूर फाइल तरीही वाचली जाते, HTML पेज वाचले जात नाही.
हे कसे दुरुस्त करावे
/robots.txtउघडा आणि सोर्स पाहा: ते<!doctypeकिंवा<htmlने सुरू होत असल्यास फाइल नाही आणि fallback route उत्तर देत आहे.- खरी फाइल जोडा: Next.js, Vite किंवा Create React App मध्ये
public/robots.txt, nginx किंवा Apache वर वेब रूट, किंवा Shopify वरrobots.txt.liquidटेम्पलेट. - nginx मध्ये, स्टॅटिक फाइल तपासण्यापूर्वी
try_files ... /index.htmlfallback/robots.txtपकडत नाही याची खात्री करा; गरज असल्यासlocation = /robots.txtजोडा. - अज्ञात पाथसाठी स्टेटस 404 पाठवण्यासाठी तुमचा catch-all route दुरुस्त करा. AISeeWhy अहवाल पुरावा आणि पेस्ट करण्यासाठी तयार उपाय दाखवतो; त्यानंतर निकालाची खात्री करण्यासाठी "पुन्हा तपासा" चालवा.
उदाहरण
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml उपाय काम करतो याची खात्री कशी करायची
बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.