पेज प्रकाशित करने से पहले करने वाली 12 AEO जांचें (2027)
प्रकाशित करने से पहले पक्का करें कि URL बिना रीडायरेक्ट के 200 लौटाता है, robots.txt हर AI सर्च क्रॉलर को अनुमति देता है, आपका फ़ायरवॉल उन्हें असली पेज देता है, और जवाब कच्चे HTML में है। फिर जांचें कि कोई छूटा हुआ noindex या nosnippet न हो, एक ही canonical हो, H1 के नीचे जवाब हो, JSON-LD सही और मेल खाता हो, तारीखें मिलती हों, sitemap एंट्री और आंतरिक लिंक हों, hreflang हो, और इंडेक्सिंग का अनुरोध करें।
जो पेज AI जवाबों में कभी नहीं दिखते, उनमें से ज़्यादातर किसी मामूली चीज़ पर अटकते हैं: छूटा हुआ noindex, कोई फ़ायरवॉल नियम, स्टेजिंग की ओर इशारा करता canonical। ये बारह जांचें लॉन्च से पहले इन्हें पकड़ लेती हैं। हर जांच में कुछ मिनट लगते हैं, ज़्यादातर के लिए टर्मिनल और पेज के URL के अलावा कुछ नहीं चाहिए, और ये उसी क्रम में हैं जिसमें क्रॉलर इनसे गुज़रता है।
इस पेज पर
- हर जांच में कितना समय लगता है?
- 1. URL बिना रीडायरेक्ट चेन के 200 लौटाता है
- 2. robots.txt हर AI सर्च क्रॉलर के लिए पेज की अनुमति देता है
- 3. फ़ायरवॉल AI क्रॉलरों को असली पेज देता है
- 4. जवाब कच्चे HTML में है
- 5. कोई noindex या nosnippet छूटा नहीं है
- 6. एक canonical URL, पूरा और ख़ुद की ओर इशारा करता हुआ
- 7. टाइटल और H1 बताते हैं कि पेज किस सवाल का जवाब देता है, और जवाब ठीक नीचे है
- 8. JSON-LD पार्स होता है और दिखने वाले टेक्स्ट से मेल खाता है
- 9. दिखने वाली तारीख, मार्कअप की तारीखें और sitemap का lastmod मेल खाते हैं
- 10. पेज sitemap में है और संबंधित पेजों से लिंक है
- 11. hreflang दोनों ओर से है, x-default के साथ
- 12. सर्च इंजनों से नया पेज क्रॉल करने को कहें
- हमने ये जांचें कैसे चुनीं
हर जांच में कितना समय लगता है?
एक पेज के लिए मोटा अनुमान, ज़रूरी टूल के साथ। जांच 1 से 5 हर पेज पर चलाएं; बाकी हर टेम्पलेट के लिए एक बार, फिर बीच-बीच में जांचें।
- 1. स्टेटस 200: 1 मिनट, curl।
- 2. हर क्रॉलर के लिए robots.txt: 3 मिनट, ब्राउज़र या curl।
- 3. फ़ायरवॉल का जवाब: 3 मिनट, curl।
- 4. कच्चे HTML में टेक्स्ट: 2 मिनट, curl।
- 5. कोई छूटा noindex या nosnippet नहीं: 2 मिनट, curl।
- 6. एक canonical: 2 मिनट, view-source।
- 7. टाइटल, H1 और संक्षिप्त जवाब: 5 मिनट, पेज पढ़कर।
- 8. JSON-LD सही और मेल खाता: 5 मिनट, Rich Results Test या Schema Markup Validator।
- 9. तारीखें मेल खाती हैं: 3 मिनट, पेज, मार्कअप और sitemap।
- 10. Sitemap और आंतरिक लिंक: 5 मिनट, sitemap.xml और आपका CMS।
- 11. hreflang: 5 मिनट, सिर्फ़ बहुभाषी साइटों के लिए।
- 12. इंडेक्सिंग का अनुरोध: 2 मिनट, Search Console और IndexNow।
1. URL बिना रीडायरेक्ट चेन के 200 लौटाता है
क्रॉलर को उसी URL पर, जिसे आप शेयर करेंगे और sitemap में डालेंगे, ख़ुद पेज स्टेटस 200 के साथ मिलना चाहिए। हर रीडायरेक्ट एक और कदम है जो विफल हो सकता है, और जो पेज "नहीं मिला" संदेश के साथ 200 लौटाता है, वह soft 404 है जिसे सर्च इंजन हटा सकते हैं।
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ पास: 200 redirects=0 और वही URL वापस। सुधार: अंतिम URL का लिंक दें और उसे ही सूची में रखें, और पुराने पतों से ज़्यादा से ज़्यादा एक रीडायरेक्ट रखें।
2. robots.txt हर AI सर्च क्रॉलर के लिए पेज की अनुमति देता है
robots.txt को वैसे पढ़ें जैसे हर क्रॉलर पढ़ेगा। जो ग्रुप किसी क्रॉलर का नाम लेता है, वह उसके लिए User-agent: * ग्रुप की जगह ले लेता है, और RFC 9309 के तहत सबसे लंबा मेल खाने वाला नियम जीतता है, बराबरी पर Allow जीतता है।
कम से कम OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot और Googlebot जांचें। /guides/ जैसा नया सेक्शन किसी पुराने Disallow: /g नियम में फंस सकता है, क्योंकि नियम पाथ के शुरुआती हिस्से से मेल खाते हैं। यह भी पक्का करें कि robots.txt ख़ुद 200 या 404 लौटाता है: RFC 9309 के तहत सर्वर एरर का मतलब है कि क्रॉलरों को पूरी साइट disallow माननी चाहिए।
पास: इनमें से किसी टोकन का कोई नियम इस पाथ को disallow नहीं करता। robots.txt कैसे टेस्ट करें, इस पर हमारी गाइड दिखाती है कि एक क्रॉलर के लिए एक URL कैसे जांचें।
3. फ़ायरवॉल AI क्रॉलरों को असली पेज देता है
पेज को ब्राउज़र यूज़र एजेंट से और क्रॉलर यूज़र एजेंट से मांगें, फिर स्टेटस और साइज़ की तुलना करें। नाम से मिलान करने वाली बॉट सुरक्षा सिर्फ़ क्रॉलरों को 403, 429 या चैलेंज पेज लौटा सकती है।
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done पास: हर लाइन में 200 और मिलता-जुलता साइज़। बहुत छोटा साइज़ आमतौर पर चैलेंज पेज का संकेत है। ये स्ट्रिंग नाम से मिलान करने वाले नियमों को जांचती हैं; असली क्रॉलर प्रकाशित IP रेंज से भी आते हैं, जिन्हें आपकी अपनी मशीन से किया गया टेस्ट दोहरा नहीं सकता, इसलिए उन रेंज के लिए अपने फ़ायरवॉल के allow नियम भी जांचें।
4. जवाब कच्चे HTML में है
सर्वर जो HTML भेजता है, उसमें अपने जवाब का कोई वाक्य खोजें। ब्राउज़र का एलिमेंट इंस्पेक्टर स्क्रिप्ट चलने के बाद का पेज दिखाता है, जो ज़्यादातर क्रॉलरों को नहीं मिलता।
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" पास: 1 या उससे ज़्यादा। 0 का मतलब है कि टेक्स्ट JavaScript से जोड़ा जाता है, और OpenAI, Anthropic और Perplexity यह प्रलेखित नहीं करते कि उनके क्रॉलर उसे चलाते हैं। इसे सर्वर पर या बिल्ड के समय रेंडर करें; JavaScript कंटेंट और AI क्रॉलरों पर हमारी गाइड विकल्प बताती है।
5. कोई noindex या nosnippet छूटा नहीं है
स्टेजिंग साइटें अक्सर noindex के साथ आती हैं, और कोई टेम्पलेट उसे प्रोडक्शन तक ले जा सकता है। robots meta tag और X-Robots-Tag HTTP हेडर दोनों जांचें, क्योंकि दोनों में से कोई भी लागू होता है।
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html पास: कुछ भी प्रिंट न हो, या सिर्फ़ index, follow और उसके जैसा। Google कहता है कि AI Overviews और AI Mode में दिखने के लिए पेज इंडेक्स और snippet के योग्य होना चाहिए, और nosnippet उनके सीधे इनपुट के रूप में इस्तेमाल को भी रोकता है।
6. एक canonical URL, पूरा और ख़ुद की ओर इशारा करता हुआ
पेज को ठीक एक rel="canonical" घोषित करना चाहिए, पूरे URL के रूप में, जो उसी URL की ओर इशारा करे जिसे आप प्रकाशित करते हैं। Google canonical को एक मज़बूत संकेत कहता है, आदेश नहीं, और relative URL से और टकराते संकेतों से सावधान करता है, जैसे कोई sitemap जिसमें दूसरा पता हो।
लॉन्च की आम ग़लतियां हैं: किसी टेम्पलेट पेज से कॉपी हुआ canonical, स्टेजिंग होस्ट की ओर अब भी इशारा करता canonical, और थीम व प्लगइन से एक साथ आए दो canonical टैग।
पास: एक टैग, लाइव URL, वही प्रोटोकॉल और होस्ट जो sitemap में है।
7. टाइटल और H1 बताते हैं कि पेज किस सवाल का जवाब देता है, और जवाब ठीक नीचे है
पेज के ऊपरी हिस्से को किसी अजनबी की तरह पढ़ें। टाइटल और H1 को सवाल या विषय ख़रीदारों के शब्दों में बताना चाहिए, और H1 के नीचे के पहले दो या तीन वाक्यों को उसका पूरा जवाब देना चाहिए।
टाइटल लगभग 60 अक्षरों तक रखें ताकि सर्च नतीजों में उसके कटने की संभावना कम हो। संक्षिप्त जवाब ऐसा लिखें कि अकेले उद्धृत होने पर भी समझ में आए, जिसमें संख्याएं, इकाइयां और प्रोडक्ट का नाम पूरा लिखा हो।
पास: जो सिर्फ़ पहला पैराग्राफ़ पढ़े, उसे जवाब मिल जाए। AI जवाबों में उद्धृत होने के तरीकों की हमारी सूची उद्धरण के लिए लिखने को और गहराई से बताती है।
8. JSON-LD पार्स होता है और दिखने वाले टेक्स्ट से मेल खाता है
टूटा हुआ JSON-LD पूरी तरह नज़रअंदाज़ हो जाता है, इसलिए एक छूटा कॉमा सब कुछ हटा देता है। URL को Google के Rich Results Test या Schema Markup Validator में डालें और हर एरर ठीक करें।
फिर वैल्यू की पेज से तुलना करें। मार्कअप में हेडलाइन, तारीखें, क़ीमत, मुद्रा और संगठन का नाम वही होने चाहिए जो पाठक देखता है। Google कहता है कि उसकी AI सुविधाओं के लिए किसी ख़ास मार्कअप की ज़रूरत नहीं है, और स्ट्रक्चर्ड डेटा दिखने वाले टेक्स्ट से मेल खाना चाहिए।
पास: कोई एरर नहीं, और हर वैल्यू पेज पर दिखती है। कब छोड़ें: उस पेज टाइप के लिए कोई उपयुक्त मार्कअप नहीं है; ग़लत मार्कअप से सादा पेज बेहतर है।
9. दिखने वाली तारीख, मार्कअप की तारीखें और sitemap का lastmod मेल खाते हैं
पेज पर लेबल वाली तारीख दिखाएं, datePublished और dateModified में वही तारीखें इस्तेमाल करें, और sitemap का lastmod आख़िरी अहम बदलाव पर सेट करें। Google चाहता है कि दिखने वाली और मार्कअप वाली तारीखें मेल खाएं, और कहता है कि वह lastmod तभी इस्तेमाल करता है जब वह लगातार और जांचने लायक रूप से सही हो।
जो sitemap जनरेटर हर बिल्ड पर हर URL पर आज की तारीख लगा देता है, वह सिर्फ़ नए पेज ही नहीं, सभी पेजों के लिए lastmod बेकार कर देता है।
पास: तीन जगह, एक तारीख।
10. पेज sitemap में है और संबंधित पेजों से लिंक है
क्रॉलर पेज लिंक और sitemap के ज़रिए ढूंढते हैं। नया URL अपने XML sitemap में ठीक canonical URL के साथ जोड़ें, और उसे कम से कम दो संबंधित पेजों और एक हब या इंडेक्स पेज से लिंक करें।
एक sitemap फ़ाइल में 50,000 URL तक और बिना कंप्रेशन के 50 MB तक आ सकते हैं; बड़ी साइटों को sitemap इंडेक्स चाहिए। Google कहता है कि वह priority और changefreq को नज़रअंदाज़ करता है, इसलिए उन पर समय न लगाएं। बिना आंतरिक लिंक वाला पेज अनाथ पेज है, जिसे क्रॉलर देर से ढूंढ सकते हैं या बिल्कुल नहीं।
पास: URL sitemap में है और कम से कम दो पेज साफ़ ऐंकर टेक्स्ट के साथ उसका लिंक देते हैं।
11. hreflang दोनों ओर से है, x-default के साथ
अगर पेज कई भाषाओं में है, तो हर वर्ज़न को सभी वर्ज़न की सूची देनी चाहिए, ख़ुद को भी, और हर एक को वापस लिंक करना चाहिए। Google उन hreflang एनोटेशन को नज़रअंदाज़ करता है जिनकी पुष्टि दूसरी ओर से नहीं होती। जब कोई भाषा मेल न खाए तब दिखने वाले वर्ज़न के लिए x-default जोड़ें।
कब छोड़ें: साइट एक ही भाषा में है। hreflang x-default पर हमारी गाइड बताती है कि इसकी ज़रूरत कब होती है।
12. सर्च इंजनों से नया पेज क्रॉल करने को कहें
जब पेज लाइव हो जाए और ऊपर की जांचें पास कर ले, तो सर्च इंजनों को उसके बारे में बताएं। Google Search Console में नए URL पर यूआरएल जांचने वाला टूल चलाएं और इंडेक्स करने का अनुरोध करें चुनें। Bing और IndexNow सपोर्ट करने वाले दूसरे इंजनों के लिए, URL को अपनी key के साथ IndexNow एंडपॉइंट पर भेजें; Bing बताता है कि इससे क्रॉलिंग या इंडेक्सिंग की गारंटी नहीं मिलती।
AI असिस्टेंट के पास कोई सबमिशन फ़ॉर्म नहीं है। उनके क्रॉलर पेज को लिंक और सर्च के ज़रिए ढूंढते हैं, इसीलिए जांच 2, 3 और 10 अहम हैं। अगर आप llms.txt फ़ाइल प्रकाशित करते हैं, तो पेज वहां भी जोड़ें; Google कहता है कि उसका सर्च इसे इस्तेमाल नहीं करता, इसलिए इसे वैकल्पिक मानें।
पास: यूआरएल जांचने वाला टूल दिखाता है कि लाइव पेज इंडेक्स हो सकता है।
हमने ये जांचें कैसे चुनीं
सूची उस रास्ते पर चलती है जो क्रॉलर अपनाता है: URL तक पहुंचना, robots.txt पढ़ना, फ़ायरवॉल पार करना, HTML पढ़ना, फिर उसका अर्थ निकालना। हर जांच उस पर आधारित है जो OpenAI, Anthropic, Perplexity और Google अपने क्रॉलरों के बारे में प्रलेखित करते हैं, robots.txt के लिए RFC 9309 पर, और canonical, तारीखों, sitemap और hreflang पर Google की गाइडेंस पर। हमने वे जांचें छोड़ दीं जिनका AI जवाबों पर कोई प्रलेखित असर नहीं है, जैसे कीवर्ड डेंसिटी या शब्द-संख्या के लक्ष्य।
ये जांचें दिखाती हैं कि पेज पढ़ा जा सकता है; ये नहीं दिखा सकतीं कि वह उद्धृत होगा। यह इस पर निर्भर करता है कि दूसरे स्रोतों की तुलना में जवाब कितना अच्छा है। हर फ़ायरवॉल, CDN, थीम या CMS बदलाव के बाद जांच 2 से 5 दोहराएं, क्योंकि यही बदलाव चुपचाप इन्हें बिगाड़ देते हैं।
AISeeWhy इनमें से ज़्यादातर जांचें एक बार में चलाता है: यह पेज को असली ब्राउज़र के साथ-साथ 16 AI और सर्च क्रॉलरों के रूप में फ़ेच करता है, हर क्रॉलर के लिए robots.txt लागू करता है और HTML, मार्कअप, canonical और तारीखें पढ़ता है। मुफ़्त जांच स्कोर और पहली खोज दिखाती है; पूरी रिपोर्ट हर समस्या को तैयार सुधार के साथ बताती है।
इस समस्या के सुधार
- OAI-SearchBot ब्लॉक है
- पेज की सामग्री के लिए JavaScript ज़रूरी है
- सूचियाँ सादे टेक्स्ट में लिखी हैं
- सेक्शन छोटे जवाब से शुरू नहीं होते: 3 में से 2
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- llms.txt चेकर और वैलिडेटर
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
क्या मुझे ये जांचें हर पेज पर चलानी होंगी?
जांच 1 से 5 हर नए पेज पर चलाएं, क्योंकि कोई एक URL ब्लॉक हो सकता है या उस पर छूटा हुआ noindex हो सकता है। जांच 6 से 11 ज़्यादातर टेम्पलेट पर निर्भर करती हैं, इसलिए उन्हें हर पेज टाइप के लिए एक बार चलाएं और नए पेजों को बीच-बीच में जांचें।
मैं Google की तरह ChatGPT या Claude को पेज सबमिट क्यों नहीं कर सकता?
OpenAI, Anthropic और Perplexity वेब पेजों के लिए URL सबमिशन टूल नहीं देते। उनके क्रॉलर लिंक के सहारे और सर्च के ज़रिए पेज ढूंढते हैं, इसलिए आंतरिक लिंक, एक sitemap, और OAI-SearchBot, Claude-SearchBot व PerplexityBot के लिए खुला एक्सेस ही आपके नियंत्रण में है।
मेरा पेज सभी बारह जांचें पास करता है। फिर भी वह उद्धृत क्यों नहीं होता?
जांचें पेज को पढ़ने लायक बनाती हैं, पसंदीदा नहीं। असिस्टेंट वे स्रोत चुनता है जो सवाल का सबसे अच्छा जवाब देते हैं, इसलिए अपने पेज की तुलना उन पेजों से करें जिन्हें वह उद्धृत करता है: क्या वे जल्दी जवाब देते हैं, क़ीमतें या स्पेसिफ़िकेशन टेक्स्ट में देते हैं, या ऐसा डेटा देते हैं जो आपके पेज में नहीं है।
प्रकाशित होने के कितनी देर बाद AI क्रॉलर आते हैं?
कोई भी कंपनी समय-सारणी प्रकाशित नहीं करती। आपके सर्वर लॉग दिखाते हैं कि OAI-SearchBot, Claude-SearchBot या PerplexityBot ने पहली बार URL कब मांगा; AI क्रॉलरों के लिए सर्वर लॉग जांचने पर हमारी गाइड बताती है कि उन्हें कैसे ढूंढें।
स्रोत
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रॉलरों का परिचय
- Anthropic: क्या Anthropic वेब से डेटा क्रॉल करता है, और साइट मालिक क्रॉलर को कैसे ब्लॉक कर सकते हैं?
- Perplexity: Perplexity क्रॉलर
- Google Search Central: AI सुविधाएं और आपकी वेबसाइट
- Google Search Central: Robots meta tag, data-nosnippet और X-Robots-Tag
- Google Search Central: canonical URL कैसे बताएं
- Google Search Central: अपनी बायलाइन तारीखों को प्रभावित करें
- Google Search Central: sitemap बनाएं और सबमिट करें
- Sitemaps.org: Sitemaps XML फ़ॉर्मैट
- Google Search Central: Google को अपने पेज के स्थानीय वर्ज़न के बारे में बताएं
- Google Search Console सहायता: URL जांच टूल
- Bing: IndexNow, शुरुआत करें
- Google Search Console सहायता: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: JavaScript SEO की बुनियादी बातें