पेज प्रकाशित गर्नुअघि गर्नुपर्ने 12 AEO जाँच (2027)
प्रकाशित गर्नुअघि, URL ले redirects बिना 200 फर्काउँछ, robots.txt ले हरेक AI सर्च क्रलरलाई अनुमति दिन्छ, तपाईंको फायरवालले तिनलाई वास्तविक पेज दिन्छ, र उत्तर raw HTML मा छ भनी पुष्टि गर्नुहोस्। त्यसपछि बाँकी रहेको noindex वा nosnippet, एउटै canonical, H1 मुनि उत्तर, सही र मिल्दो JSON-LD, मिल्दा मिति, आन्तरिक लिङ्कसहित sitemap प्रविष्टि र hreflang जाँच्नुहोस्, र इन्डेक्सिङ अनुरोध गर्नुहोस्।
AI उत्तरमा कहिल्यै नदेखिने धेरैजसो पेज कुनै झिँजो कुरामा असफल हुन्छन्: बाँकी रहेको noindex, एउटा फायरवाल नियम, staging तिर देखाउने canonical। यी बाह्र जाँचले तिनलाई प्रकाशनअघि नै समात्छन्। हरेकमा केही मिनेट लाग्छ, धेरैजसोलाई terminal र पेजको URL मात्र चाहिन्छ, र क्रलरले भेट्ने क्रममा सूचीबद्ध छन्।
यस पेजमा
- हरेक जाँचमा कति समय लाग्छ?
- 1. URL ले redirect चेन बिना 200 फर्काउँछ
- 2. robots.txt ले हरेक AI सर्च क्रलरलाई पेजको अनुमति दिन्छ
- 3. फायरवालले AI क्रलरलाई वास्तविक पेज दिन्छ
- 4. उत्तर raw HTML मा छ
- 5. बाँकी रहेको noindex वा nosnippet छैन
- 6. एउटै canonical URL, पूर्ण र आफैँतिर देखाउने
- 7. Title र H1 ले पेजले केको उत्तर दिन्छ भन्छन्, र उत्तर ठीक तल छ
- 8. JSON-LD सही parse हुन्छ र देखिने पाठसँग मिल्छ
- 9. देखिने मिति, markup मिति र sitemap lastmod मिल्छन्
- 10. पेज sitemap मा छ र सम्बन्धित पेजबाट लिङ्क गरिएको छ
- 11. hreflang पारस्परिक छ, x-default सहित
- 12. नयाँ पेज crawl गर्न सर्च इन्जिनलाई भन्नुहोस्
- यी जाँच कसरी छानियो
हरेक जाँचमा कति समय लाग्छ?
एउटा पेजका लागि अनुमानित गाइड, चाहिने टुलसहित। जाँच 1 देखि 5 हरेक पेजमा गर्नुहोस्; बाँकी हरेक टेम्प्लेटमा एक पटक, त्यसपछि बेलाबेलामा नमुना जाँच गर्नुहोस्।
- 1. Status 200: 1 मिनेट, curl।
- 2. हरेक क्रलरका लागि robots.txt: 3 मिनेट, ब्राउजर वा curl।
- 3. फायरवालको प्रतिक्रिया: 3 मिनेट, curl।
- 4. raw HTML मा पाठ: 2 मिनेट, curl।
- 5. बाँकी रहेको noindex वा nosnippet छैन: 2 मिनेट, curl।
- 6. एउटै canonical: 2 मिनेट, view-source।
- 7. Title, H1 र छोटो उत्तर: 5 मिनेट, पेज पढेर।
- 8. JSON-LD सही र मिल्दो: 5 मिनेट, Rich Results Test वा Schema Markup Validator।
- 9. मिति मिल्छन्: 3 मिनेट, पेज, markup र sitemap।
- 10. Sitemap र आन्तरिक लिङ्क: 5 मिनेट, sitemap.xml र तपाईंको CMS।
- 11. hreflang: 5 मिनेट, बहुभाषी साइटका लागि मात्र।
- 12. इन्डेक्सिङ अनुरोध: 2 मिनेट, Search Console र IndexNow।
1. URL ले redirect चेन बिना 200 फर्काउँछ
तपाईंले सेयर गर्ने र sitemap मा राख्ने ठ्याक्कै URL मा क्रलरले status 200 सहित पेज नै पाउनुपर्छ। हरेक redirect असफल हुन सक्ने अर्को चरण हो, र "फेला परेन" सन्देशसहित 200 फर्काउने पेज soft 404 हो जसलाई सर्च इन्जिनले हटाउन सक्छन्।
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ पास: 200 redirects=0 र उही URL फर्किन्छ। सुधार: अन्तिम URL मा लिङ्क दिनुहोस् र त्यही सूचीमा राख्नुहोस्, र पुराना ठेगानाबाट बढीमा एउटा redirect राख्नुहोस्।
2. robots.txt ले हरेक AI सर्च क्रलरलाई पेजको अनुमति दिन्छ
हरेक क्रलरले पढेझैँ robots.txt पढ्नुहोस्। कुनै क्रलरको नाम भएको group ले त्यसका लागि User-agent: * group लाई प्रतिस्थापन गर्छ, र RFC 9309 अनुसार सबैभन्दा लामो मिल्ने नियम जित्छ, बराबरीमा Allow जित्छ।
कम्तीमा OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot र Googlebot जाँच्नुहोस्। नियमहरू path को सुरुआती भागसँग मिल्ने भएकाले /guides/ जस्तो नयाँ खण्ड पुरानो Disallow: /g नियममा पर्न सक्छ। robots.txt आफैँले 200 वा 404 फर्काउँछ भनी पनि पुष्टि गर्नुहोस्: RFC 9309 अनुसार सर्भर त्रुटि भनेको पूरा साइट निषेधित छ भनी क्रलरले मान्नुपर्छ।
पास: यी कुनै पनि tokens का लागि कुनै नियमले path निषेध गर्दैन। robots.txt कसरी जाँच्ने भन्ने हाम्रो गाइडले एउटा क्रलरका लागि एउटा URL जाँच्ने तरिका देखाउँछ।
3. फायरवालले AI क्रलरलाई वास्तविक पेज दिन्छ
ब्राउजर user agent र क्रलर user agents सँग पेज अनुरोध गर्नुहोस्, अनि status र साइज तुलना गर्नुहोस्। नामबाट मिलाउने बट सुरक्षाले क्रलरलाई मात्र 403, 429 वा च्यालेन्ज पेज दिन सक्छ।
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done पास: हरेक लाइनमा 200 र उस्तै साइज देखिन्छ। धेरै सानो साइजको अर्थ प्रायः च्यालेन्ज पेज हो। यी strings ले नामबाट मिलाउने नियम जाँच्छन्; वास्तविक क्रलर प्रकाशित IP दायराबाट पनि आउँछन्, जुन तपाईंको आफ्नै मेसिनबाट गरिने परीक्षणले दोहोर्याउन सक्दैन, त्यसैले ती दायराका लागि तपाईंको फायरवालका allow नियम पनि जाँच्नुहोस्।
4. उत्तर raw HTML मा छ
सर्भरले पठाउने HTML मा तपाईंको उत्तरको एउटा वाक्य खोज्नुहोस्। ब्राउजरको element inspector ले scripts चलेपछिको पेज देखाउँछ, जुन धेरैजसो क्रलरले पाउने होइन।
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" पास: 1 वा बढी। 0 को अर्थ पाठ JavaScript ले थप्छ, र OpenAI, Anthropic र Perplexity ले आफ्ना क्रलरले यो चलाउँछन् भनी दस्तावेजीकरण गरेका छैनन्। यसलाई सर्भरमा वा build समयमा render गर्नुहोस्; JavaScript सामग्री र AI क्रलरसम्बन्धी हाम्रो गाइडमा विकल्पहरू छन्।
5. बाँकी रहेको noindex वा nosnippet छैन
Staging साइटहरू प्रायः noindex सहित आउँछन्, र टेम्प्लेटले यसलाई production सम्म पुर्याउन सक्छ। robots meta tag र X-Robots-Tag HTTP header दुवै जाँच्नुहोस्, किनभने जुनसुकै एउटाले पनि असर गर्छ।
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html पास: केही प्रिन्ट हुँदैन, वा index, follow जस्ता मात्र। AI Overviews र AI Mode मा देखिन पेज इन्डेक्स भएको र snippet का लागि योग्य हुनुपर्छ, र nosnippet ले तिनका लागि प्रत्यक्ष इनपुटका रूपमा प्रयोग पनि रोक्छ भनी Google भन्छ।
6. एउटै canonical URL, पूर्ण र आफैँतिर देखाउने
पेजले ठ्याक्कै एउटा rel="canonical" पूर्ण URL का रूपमा, तपाईंले प्रकाशित गर्ने URL तिर देखाउने गरी घोषणा गर्नुपर्छ। Google ले canonical लाई आदेश होइन, बलियो सङ्केत भन्छ, र relative URL तथा अर्को ठेगाना सूचीमा राख्ने sitemap जस्ता विरोधाभासी सङ्केतविरुद्ध चेतावनी दिन्छ।
प्रकाशनका सामान्य गल्ती: टेम्प्लेट पेजबाट कपी गरिएको canonical, अझै staging host तिर देखाउने canonical, र एकै पटक theme र plugin ले थप्ने दुई canonical tags।
पास: एउटा tag, लाइभ URL, sitemap मा जस्तै protocol र host।
7. Title र H1 ले पेजले केको उत्तर दिन्छ भन्छन्, र उत्तर ठीक तल छ
पेजको माथिल्लो भाग अपरिचितले पढेझैँ पढ्नुहोस्। Title र H1 ले खरिदकर्ताले प्रयोग गर्ने शब्दमा प्रश्न वा विषय भन्नुपर्छ, र H1 मुनिका पहिलो दुई तीन वाक्यले त्यसको पूरा उत्तर दिनुपर्छ।
सर्च नतिजामा काटिने सम्भावना घटाउन title करिब 60 अक्षरभित्र राख्नुहोस्। अङ्क, एकाइ र उत्पादनको नाम पूरा लेखी, एक्लै उद्धृत गर्दा पनि अर्थ लाग्ने गरी छोटो उत्तर लेख्नुहोस्।
पास: पहिलो अनुच्छेद मात्र पढ्नेले उत्तर पाउँछ। AI उत्तरमा उद्धृत हुने तरिकाको हाम्रो सूचीले उद्धरणका लागि लेख्ने कुरा अझ गहिराइमा बताउँछ।
8. JSON-LD सही parse हुन्छ र देखिने पाठसँग मिल्छ
बिग्रिएको JSON-LD पूरै बेवास्ता हुन्छ, त्यसैले एउटा अल्पविराम छुट्दा सबै हराउँछ। URL लाई Google को Rich Results Test वा Schema Markup Validator मा टाँसेर हरेक त्रुटि सुधार्नुहोस्।
त्यसपछि मानहरू पेजसँग तुलना गर्नुहोस्। Markup को headline, मिति, मूल्य, मुद्रा र संस्थाको नाम पाठकले देख्ने नै हुनुपर्छ। आफ्ना AI सुविधाका लागि विशेष markup चाहिँदैन र structured data देखिने पाठसँग मिल्नुपर्छ भनी Google भन्छ।
पास: कुनै त्रुटि छैन, र हरेक मान पेजमा देखिन्छ। छोड्न सकिन्छ: पेज प्रकारका लागि मिल्दो markup छैन भने; गलत markup भन्दा सादा पेज राम्रो।
9. देखिने मिति, markup मिति र sitemap lastmod मिल्छन्
पेजमा लेबलसहित मिति देखाउनुहोस्, उही मितिहरू datePublished र dateModified मा प्रयोग गर्नुहोस्, र sitemap lastmod लाई अन्तिम उल्लेखनीय परिवर्तनमा राख्नुहोस्। देखिने र markup का मिति मिल्नुपर्छ भनी Google माग्छ, र lastmod लगातार र प्रमाणित गर्न सकिने गरी सही भए मात्र प्रयोग गर्छ भन्छ।
हरेक build मा हरेक URL मा आजको मिति छाप्ने sitemap generator ले नयाँ पेजका लागि मात्र होइन, सबै पेजका लागि lastmod बेकार बनाउँछ।
पास: तीन ठाउँ, एउटै मिति।
10. पेज sitemap मा छ र सम्बन्धित पेजबाट लिङ्क गरिएको छ
क्रलरले लिङ्क र sitemaps मार्फत पेज भेट्छन्। ठ्याक्कै canonical URL प्रयोग गरी नयाँ URL तपाईंको XML sitemap मा थप्नुहोस्, र कम्तीमा दुई सम्बन्धित पेज तथा एउटा hub वा index पेजबाट त्यसमा लिङ्क दिनुहोस्।
एउटा sitemap फाइलमा 50,000 URL सम्म र नकम्प्रेस गरी 50 MB सम्म अटाउँछ; ठूला साइटलाई sitemap index चाहिन्छ। Google ले priority र changefreq बेवास्ता गर्छ भन्छ, त्यसैले तिनमा समय नबिताउनुहोस्। आन्तरिक लिङ्क नभएको पेज टुहुरो हो जसलाई क्रलरले ढिलो भेट्न सक्छन् वा भेट्दै नभेट्न सक्छन्।
पास: URL sitemap मा छ र कम्तीमा दुई पेजले वर्णनात्मक anchor text सहित त्यसमा लिङ्क दिन्छन्।
11. hreflang पारस्परिक छ, x-default सहित
पेज धेरै भाषामा छ भने हरेक संस्करणले आफूसहित सबै संस्करण सूचीमा राख्नुपर्छ, र हरेकले फर्केर लिङ्क दिनुपर्छ। अर्को पक्षबाट पुष्टि नभएका hreflang सङ्केतलाई Google बेवास्ता गर्छ। कुनै भाषा नमिल्दा देखाइने संस्करणका लागि x-default थप्नुहोस्।
छोड्न सकिन्छ: साइटमा एउटै भाषा छ भने। hreflang x-default सम्बन्धी हाम्रो गाइडले यो कहिले चाहिन्छ बताउँछ।
12. नयाँ पेज crawl गर्न सर्च इन्जिनलाई भन्नुहोस्
पेज लाइभ भएर माथिका जाँच पास गरेपछि सर्च इन्जिनलाई यसबारे बताउनुहोस्। Google Search Console मा नयाँ URL मा URL निरीक्षण प्रयोग गरी इन्डेक्सिङ अनुरोध गर्नुहोस् छान्नुहोस्। Bing र IndexNow समर्थन गर्ने अन्य इन्जिनका लागि, आफ्नो key सहित URL लाई IndexNow endpoint मा पेस गर्नुहोस्; यसले crawling वा इन्डेक्सिङको ग्यारेन्टी गर्दैन भनी Bing उल्लेख गर्छ।
AI सहायकहरूको कुनै पेस गर्ने फारम छैन। तिनका क्रलरले लिङ्क र सर्च मार्फत पेज भेट्छन्, त्यसैले जाँच 2, 3 र 10 महत्त्वपूर्ण छन्। तपाईंले llms.txt फाइल प्रकाशित गर्नुहुन्छ भने पेज त्यहाँ पनि थप्नुहोस्; आफ्नो Search ले यो प्रयोग गर्दैन भनी Google भन्छ, त्यसैले यसलाई ऐच्छिक मान्नुहोस्।
पास: URL निरीक्षणले लाइभ पेज इन्डेक्स गर्न सकिन्छ भनी देखाउँछ।
यी जाँच कसरी छानियो
सूचीले क्रलर हिँड्ने बाटो पछ्याउँछ: URL मा पुग्ने, robots.txt पढ्ने, फायरवाल पार गर्ने, HTML पढ्ने, अनि त्यसको अर्थ लगाउने। हरेक जाँच OpenAI, Anthropic, Perplexity र Google ले आफ्ना क्रलरबारे दस्तावेजीकरण गरेको कुरा, robots.txt का लागि RFC 9309, र canonicals, मिति, sitemaps र hreflang सम्बन्धी Google को निर्देशिकामा आधारित छ। keyword घनत्व वा शब्द सङ्ख्याका लक्ष्य जस्ता, AI उत्तरमा दस्तावेजीकृत प्रभाव नभएका जाँच हामीले छोड्यौँ।
जाँचले पेज पढ्न सकिन्छ भनी देखाउँछन्; यो उद्धृत हुन्छ भनी देखाउन सक्दैनन्। त्यो अन्य स्रोतको तुलनामा उत्तर कति राम्रो छ भन्नेमा निर्भर हुन्छ। हरेक फायरवाल, CDN, theme वा CMS परिवर्तनपछि जाँच 2 देखि 5 दोहोर्याउनुहोस्, किनभने त्यस्तै परिवर्तनले तिनलाई चुपचाप बिगार्छन्।
AISeeWhy ले यीमध्ये धेरैजसो जाँच एकै पटकमा गर्छ: यसले पेजलाई वास्तविक ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा ल्याउँछ, हरेक क्रलरका लागि robots.txt लागू गर्छ र HTML, markup, canonical र मिति पढ्छ। निःशुल्क जाँचले स्कोर र पहिलो समस्या देखाउँछ; पूरा रिपोर्टले हरेक समस्यालाई तयार समाधानसहित सूचीमा राख्छ।
यो समस्याका समाधान
- OAI-SearchBot ब्लक गरिएको छ
- पेजको सामग्रीलाई JavaScript चाहिन्छ
- सादा पाठका रूपमा लेखिएका सूची
- खण्डहरू छोटो उत्तरबाट सुरु हुँदैनन्: 3 मध्ये 2
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- llms.txt चेकर र भ्यालिडेटर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के यी जाँच हरेक पेजमा गर्नुपर्छ?
हरेक नयाँ पेजमा जाँच 1 देखि 5 गर्नुहोस्, किनभने एउटै URL रोकिन सक्छ वा त्यसमा बाँकी रहेको noindex हुन सक्छ। जाँच 6 देखि 11 मुख्यतया टेम्प्लेटमा निर्भर हुन्छन्, त्यसैले हरेक पेज प्रकारका लागि एक पटक गरेर नयाँ पेजको बेलाबेलामा नमुना जाँच गर्नुहोस्।
Google मा जस्तै ChatGPT वा Claude मा पेज किन पेस गर्न सकिँदैन?
OpenAI, Anthropic र Perplexity ले वेब पेजका लागि URL पेस गर्ने टुल दिँदैनन्। तिनका क्रलरले लिङ्क पछ्याएर र सर्च मार्फत पेज भेट्छन्, त्यसैले आन्तरिक लिङ्क, sitemap, र OAI-SearchBot, Claude-SearchBot र PerplexityBot का लागि खुला पहुँच नै तपाईंको नियन्त्रणमा छन्।
मेरो पेजले सबै बाह्र जाँच पास गर्छ। अझै किन उद्धृत हुँदैन?
जाँचले पेजलाई पढ्न सकिने बनाउँछन्, रोजिने होइन। सहायकले प्रश्नको सबैभन्दा राम्रो उत्तर दिने स्रोत छान्छ, त्यसैले उसले उद्धृत गर्ने पेजसँग आफ्नो पेज तुलना गर्नुहोस्: के तिनले छिटो उत्तर दिन्छन्, मूल्य वा स्पेसिफिकेसन पाठमा लेख्छन्, वा तपाईंसँग नभएको डेटा दिन्छन्।
प्रकाशनपछि AI क्रलर कति छिटो आउँछन्?
कुनै कम्पनीले तालिका प्रकाशित गर्दैन। OAI-SearchBot, Claude-SearchBot वा PerplexityBot ले पहिलो पटक URL कहिले अनुरोध गरे भनी तपाईंको सर्भर logs ले देखाउँछन्; AI क्रलरका लागि सर्भर logs जाँच्ने हाम्रो गाइडले तिनलाई कसरी भेट्ने देखाउँछ।
स्रोतहरू
- RFC 9309: Robots Exclusion Protocol (robots.txt प्रोटोकल)
- OpenAI: OpenAI क्रलरहरूको सिंहावलोकन
- Anthropic: के Anthropic ले वेबबाट डेटा crawl गर्छ, र साइट मालिकले क्रलरलाई कसरी रोक्न सक्छन्?
- Perplexity: Perplexity क्रलरहरू
- Google Search Central: AI सुविधा र तपाईंको वेबसाइट
- Google Search Central: Robots meta tag, data-nosnippet र X-Robots-Tag
- Google Search Central: canonical URL कसरी तोक्ने
- Google Search Central: तपाईंका byline मितिलाई प्रभाव पार्ने
- Google Search Central: sitemap बनाउने र पेस गर्ने
- Sitemaps.org: Sitemaps XML ढाँचा
- Google Search Central: तपाईंको पेजका स्थानीय संस्करणबारे Google लाई बताउने
- Google Search Console सहायता: URL निरीक्षण टुल
- Bing: IndexNow, सुरु गर्ने
- Google Search Console सहायता: Rich Results Test
- Schema.org: Schema Markup Validator टुल
- Google Search Central: JavaScript SEO का आधारभूत कुरा