पेज सर्च इंजन से कहता है कि उसे इंडेक्स न करें
पेज सर्च इंजन से कहता है कि उसे इंडेक्स न करें: robots, googlebot या bingbot मेटा टैग में, या X-Robots-Tag HTTP हेडर में noindex या none है। निष्कर्ष बताता है कि कौन सा। तब Google और Bing पेज को अपने नतीजों से बाहर रखते हैं। अगर पेज मिलना चाहिए तो यह नियम हटाएँ।
इसका मतलब
एक noindex नियम (meta) इस पेज को Google और Bing से बाहर रखता है, और इसलिए उनके इंडेक्स पर बने AI जवाबों से भी। अगर पेज खोजा जाना चाहिए तो इसे हटाएँ।
AI सर्च के लिए यह क्यों मायने रखता है
Google और Bing अगली बार पेज क्रॉल करते समय noindex नियम मानते हैं, और पेज उनके नतीजों से हट जाता है। तब इन सर्च इंडेक्स पर बने AI उत्तर और AI सर्च फ़ीचर भी पेज नहीं ढूँढ पाते।
चेकआउट के चरण, अंदरूनी सर्च के नतीजे या धन्यवाद पेज जैसे पेजों के लिए noindex सही है। यह तब समस्या है जब यह किसी स्टेजिंग साइट से बचा रह गया हो, पूरी साइट के "सर्च इंजन को रोकें" जैसे विकल्प से सेट हो, या किसी सर्वर या CDN नियम से हेडर के रूप में भेजा जा रहा हो जो HTML में किसी को नहीं दिखता।
इसे कैसे ठीक करें
- निष्कर्ष में स्रोत देखें: HTML में मेटा टैग या
X-Robots-Tagहेडर। - मेटा टैग हो तो उसमें से
noindexऔरnoneहटाएँ या टैग ही मिटा दें। WordPress में जाँचें कि सेटिंग → पढ़ना → "सर्च इंजन को इस साइट को इंडेक्स करने से रोकें" बंद है, और पेज की अपनी SEO सेटिंग भी देखें। Shopify में थीम कोड और उन ऐप को देखें जो robots मेटा टैग जोड़ते हैं। - हेडर हो तो पता करें कि यह कहाँ सेट होता है, जैसे Nginx का
add_header, Apache काHeader set,_headersफ़ाइल, Cloudflare Transform Rule या फ़्रेमवर्क का middleware, और इस पेज के लिए इसे हटाएँ। - साथ ही robots.txt में पेज को ब्लॉक न करें: क्रॉलर को पेज फ़ेच करना होगा तभी वे देख पाएँगे कि noindex हट गया है।
- नतीजा पक्का करने के लिए पेज रिपोर्ट में "दोबारा जाँचें" चलाएँ।
उदाहरण
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} सुधार की पुष्टि कैसे करें
बदलाव के बाद रिपोर्ट पर "दोबारा जाँचें" दबाएँ: यह बताती है कि क्या ठीक हुआ और स्कोर कैसे बदला।