robots.txt मिळवता येत नाही

छोटे उत्तर

/robots.txt मिळवणे अयशस्वी झाले: सर्व्हरने 5xx स्टेटस किंवा 429 दिले, किंवा अजिबात उत्तर दिले नाही. RFC 9309 नुसार अशा वेळी क्रॉलर संपूर्ण साइट नाकारलेली मानतात. /robots.txt साध्या मजकुरासह स्टेटस 200 देईल असे करा, किंवा तुमचे कोणतेही नियम नसल्यास 404 द्या.

robots.unreachable · प्राधान्य: P1

याचा अर्थ काय

robots.txt ने स्टेटस 403 दिले किंवा उत्तर दिले नाही. RFC 9309 नुसार अशा वेळी क्रॉलर संपूर्ण साइट नाकारलेली मानतात.

AI सर्चसाठी हे का महत्त्वाचे आहे

RFC 9309 सांगते की सर्व्हर त्रुटीमुळे robots.txt पर्यंत पोहोचू न शकणाऱ्या क्रॉलरने पूर्ण नकार गृहीत धरला पाहिजे. Googlebot, Bingbot आणि मानक पाळणारे AI क्रॉलर robots.txt पुन्हा उत्तर देईपर्यंत पेजेस मिळवणे थांबवतात, त्यामुळे एक तुटलेली फाइल संपूर्ण साइट लपवू शकते.

फाइल नसणे वेगळे आहे: 404 किंवा दुसरे 4xx स्टेटस म्हणजे कोणतेही नियम नाहीत, त्यामुळे सर्व काही परवानगीत आहे आणि AISeeWhy काहीही नोंदवत नाही. समस्या फक्त सर्व्हर त्रुटी, rate limit (429) आणि कोणतेही स्टेटस येण्यापूर्वी टाइम आउट होणाऱ्या किंवा नाकारल्या जाणाऱ्या विनंत्यांची आहे.

हे कसे दुरुस्त करावे

  1. तुमच्या नेटवर्कबाहेरून https://your-domain/robots.txt उघडा आणि स्टेटस नोंदवा. ऑडिट ती ब्राउझर युजर एजंटसह मिळवते.
  2. 5xx असल्यास origin route तपासा: Next.js सारखे फ्रेमवर्क ती public/robots.txt किंवा app/robots.ts मधून देतात, WordPress ती डायनॅमिकपणे तयार करते, त्यामुळे PHP त्रुटीने ती बिघडते.
  3. 429 किंवा टाइम आउट असल्यास, तुमच्या CDN किंवा WAF मध्ये /robots.txt ला rate limiting आणि बॉट चॅलेंजमधून वगळा.
  4. origin धीमा असतानाही उत्तर मिळावे म्हणून robots.txt CDN वर कॅशे करा. AISeeWhy अहवाल पुरावा आणि पेस्ट करण्यासाठी तयार उपाय दाखवतो; त्यानंतर निकालाची खात्री करण्यासाठी "पुन्हा तपासा" चालवा.

उपाय काम करतो याची खात्री कशी करायची

बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.

माझे पेज तपासा →

संबंधित मार्गदर्शक

सर्व निष्कर्ष आणि स्कोअर कसा ठरतो