पेज प्रकाशित करण्यापूर्वी करायच्या 12 AEO तपासण्या (2027)
प्रकाशित करण्यापूर्वी खात्री करा की URL रीडायरेक्टशिवाय 200 देते, robots.txt प्रत्येक AI सर्च क्रॉलरला परवानगी देते, तुमचा फायरवॉल त्यांना खरे पेज देतो, आणि उत्तर कच्च्या HTML मध्ये आहे. मग तपासा की कोणताही राहिलेला noindex किंवा nosnippet नाही, एकच canonical आहे, H1 खाली उत्तर आहे, JSON-LD वैध आणि जुळणारे आहे, तारखा जुळतात, sitemap नोंद आणि अंतर्गत लिंक आहेत, hreflang आहे, आणि इंडेक्सिंगची विनंती करा.
AI उत्तरांमध्ये कधीच न दिसणारी बहुतेक पेज एखाद्या साध्या गोष्टीवर अडकतात: राहिलेला noindex, एखादा फायरवॉल नियम, स्टेजिंगकडे निर्देश करणारा canonical. या बारा तपासण्या लाँचपूर्वी हे पकडतात. प्रत्येकीला काही मिनिटे लागतात, बहुतेकांसाठी टर्मिनल आणि पेजच्या URL शिवाय काही लागत नाही, आणि क्रॉलर ज्या क्रमाने त्यांना सामोरा जातो त्या क्रमाने त्या दिल्या आहेत.
या पेजवर
- प्रत्येक तपासणीला किती वेळ लागतो?
- 1. URL रीडायरेक्ट साखळीशिवाय 200 देते
- 2. robots.txt प्रत्येक AI सर्च क्रॉलरसाठी पेजला परवानगी देते
- 3. फायरवॉल AI क्रॉलरना खरे पेज देतो
- 4. उत्तर कच्च्या HTML मध्ये आहे
- 5. कोणताही noindex किंवा nosnippet राहिलेला नाही
- 6. एक canonical URL, पूर्ण आणि स्वतःकडे निर्देश करणारी
- 7. टायटल आणि H1 पेज कशाचे उत्तर देते ते सांगतात, आणि उत्तर अगदी खाली आहे
- 8. JSON-LD पार्स होते आणि दिसणाऱ्या मजकुराशी जुळते
- 9. दिसणारी तारीख, मार्कअपमधील तारखा आणि sitemap चा lastmod जुळतात
- 10. पेज sitemap मध्ये आहे आणि संबंधित पेजवरून लिंक केलेले आहे
- 11. hreflang परस्पर आहे, x-default सह
- 12. सर्च इंजिनना नवीन पेज क्रॉल करायला सांगा
- आम्ही या तपासण्या कशा निवडल्या
प्रत्येक तपासणीला किती वेळ लागतो?
एका पेजसाठी अंदाजे मार्गदर्शन, लागणाऱ्या टूलसह. तपासण्या 1 ते 5 प्रत्येक पेजवर चालवा; उरलेल्या प्रत्येक टेम्पलेटसाठी एकदा, मग अधूनमधून तपासा.
- 1. स्टेटस 200: 1 मिनिट, curl.
- 2. प्रत्येक क्रॉलरसाठी robots.txt: 3 मिनिटे, ब्राउझर किंवा curl.
- 3. फायरवॉलचा प्रतिसाद: 3 मिनिटे, curl.
- 4. कच्च्या HTML मध्ये मजकूर: 2 मिनिटे, curl.
- 5. राहिलेला noindex किंवा nosnippet नाही: 2 मिनिटे, curl.
- 6. एक canonical: 2 मिनिटे, view-source.
- 7. टायटल, H1 आणि थोडक्यात उत्तर: 5 मिनिटे, पेज वाचून.
- 8. JSON-LD वैध आणि जुळणारे: 5 मिनिटे, Rich Results Test किंवा Schema Markup Validator.
- 9. तारखा जुळतात: 3 मिनिटे, पेज, मार्कअप आणि sitemap.
- 10. Sitemap आणि अंतर्गत लिंक: 5 मिनिटे, sitemap.xml आणि तुमचे CMS.
- 11. hreflang: 5 मिनिटे, फक्त बहुभाषिक साइटसाठी.
- 12. इंडेक्सिंगची विनंती: 2 मिनिटे, Search Console आणि IndexNow.
1. URL रीडायरेक्ट साखळीशिवाय 200 देते
तुम्ही शेअर कराल आणि sitemap मध्ये टाकाल त्याच URL वर क्रॉलरला स्टेटस 200 सह प्रत्यक्ष पेज मिळायला हवे. प्रत्येक रीडायरेक्ट ही अपयशी होऊ शकणारी आणखी एक पायरी आहे, आणि "सापडले नाही" संदेशासह 200 देणारे पेज soft 404 असते, जे सर्च इंजिन वगळू शकतात.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ पास: 200 redirects=0 आणि तीच URL परत. दुरुस्ती: अंतिम URL ची लिंक द्या आणि तीच यादीत ठेवा, आणि जुन्या पत्त्यांवरून जास्तीत जास्त एक रीडायरेक्ट ठेवा.
2. robots.txt प्रत्येक AI सर्च क्रॉलरसाठी पेजला परवानगी देते
प्रत्येक क्रॉलर वाचेल तसे robots.txt वाचा. जो गट एखाद्या क्रॉलरचे नाव घेतो तो त्याच्यासाठी User-agent: * गटाची जागा घेतो, आणि RFC 9309 नुसार सर्वात लांब जुळणारा नियम जिंकतो, बरोबरी झाल्यास Allow जिंकतो.
किमान OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot आणि Googlebot तपासा. /guides/ सारखा नवीन विभाग जुन्या Disallow: /g नियमात अडकू शकतो, कारण नियम पाथच्या सुरुवातीच्या भागाशी जुळतात. robots.txt स्वतः 200 किंवा 404 देते याचीही खात्री करा: RFC 9309 नुसार सर्व्हर एररचा अर्थ असा की क्रॉलरनी संपूर्ण साइट disallow मानावी.
पास: या टोकनपैकी कोणताही नियम पाथला disallow करत नाही. robots.txt कसे तपासायचे यावरील आमचे मार्गदर्शक एका क्रॉलरसाठी एक URL कशी तपासायची ते दाखवते.
3. फायरवॉल AI क्रॉलरना खरे पेज देतो
पेज ब्राउझर युजर एजंटने आणि क्रॉलर युजर एजंटने मागवा, मग स्टेटस आणि आकाराची तुलना करा. नावावरून जुळवणारे बॉट संरक्षण फक्त क्रॉलरना 403, 429 किंवा चॅलेंज पेज देऊ शकते.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done पास: प्रत्येक ओळीत 200 आणि साधारण सारखा आकार. खूप लहान आकार सहसा चॅलेंज पेजचे लक्षण असते. या स्ट्रिंग नावावरून जुळणारे नियम तपासतात; खरे क्रॉलर प्रकाशित IP रेंजमधूनही येतात, जे तुमच्या स्वतःच्या मशीनवरील चाचणीत पुन्हा निर्माण करता येत नाही, म्हणून त्या रेंजसाठी तुमच्या फायरवॉलचे allow नियमही तपासा.
4. उत्तर कच्च्या HTML मध्ये आहे
सर्व्हर पाठवतो त्या HTML मध्ये तुमच्या उत्तरातील एखादे वाक्य शोधा. ब्राउझरचा एलिमेंट इन्स्पेक्टर स्क्रिप्ट चालल्यानंतरचे पेज दाखवतो, जे बहुतेक क्रॉलरना मिळत नाही.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" पास: 1 किंवा जास्त. 0 म्हणजे मजकूर JavaScript ने जोडला जातो, आणि OpenAI, Anthropic आणि Perplexity त्यांचे क्रॉलर ते चालवतात असे दस्तऐवजीकृत करत नाहीत. ते सर्व्हरवर किंवा बिल्डच्या वेळी रेंडर करा; JavaScript कंटेंट आणि AI क्रॉलरवरील आमचे मार्गदर्शक पर्याय सांगते.
5. कोणताही noindex किंवा nosnippet राहिलेला नाही
स्टेजिंग साइट अनेकदा noindex सह येतात, आणि एखादा टेम्पलेट तो प्रॉडक्शनपर्यंत नेऊ शकतो. robots meta tag आणि X-Robots-Tag HTTP हेडर दोन्ही तपासा, कारण दोघांपैकी कोणताही लागू होतो.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html पास: काहीही प्रिंट होत नाही, किंवा फक्त index, follow आणि तत्सम. Google सांगते की AI Overviews आणि AI Mode मध्ये दिसण्यासाठी पेज इंडेक्स आणि snippet साठी पात्र असावे, आणि nosnippet त्यांचा थेट इनपुट म्हणून वापरही रोखतो.
6. एक canonical URL, पूर्ण आणि स्वतःकडे निर्देश करणारी
पेजने नेमका एक rel="canonical" घोषित करावा, पूर्ण URL म्हणून, जो तुम्ही प्रकाशित करता त्या URL कडे निर्देश करतो. Google canonical ला मजबूत संकेत म्हणते, आदेश नव्हे, आणि relative URL विरुद्ध आणि परस्परविरोधी संकेतांविरुद्ध सावध करते, जसे दुसरा पत्ता असलेला sitemap.
लाँचच्या सामान्य चुका म्हणजे टेम्पलेट पेजवरून कॉपी झालेला canonical, अजूनही स्टेजिंग होस्टकडे निर्देश करणारा canonical, आणि थीम व प्लगइनमधून एकाच वेळी आलेले दोन canonical टॅग.
पास: एक टॅग, लाइव्ह URL, sitemap मधलाच प्रोटोकॉल आणि होस्ट.
7. टायटल आणि H1 पेज कशाचे उत्तर देते ते सांगतात, आणि उत्तर अगदी खाली आहे
पेजचा वरचा भाग अनोळखी व्यक्तीसारखा वाचा. टायटल आणि H1 ने प्रश्न किंवा विषय खरेदीदारांच्या शब्दांत सांगावा, आणि H1 खालील पहिल्या दोन किंवा तीन वाक्यांनी त्याचे पूर्ण उत्तर द्यावे.
टायटल सुमारे 60 अक्षरांपर्यंत ठेवा, म्हणजे सर्च निकालांमध्ये तो कापला जाण्याची शक्यता कमी राहील. थोडक्यात उत्तर असे लिहा की ते एकटे उद्धृत झाले तरी अर्थपूर्ण राहील, संख्या, एकके आणि प्रॉडक्टचे नाव पूर्ण लिहून.
पास: फक्त पहिला परिच्छेद वाचणाऱ्याला उत्तर मिळते. AI उत्तरांमध्ये उद्धृत होण्याच्या मार्गांची आमची यादी उद्धरणासाठी लिहिण्याबद्दल अधिक सखोल सांगते.
8. JSON-LD पार्स होते आणि दिसणाऱ्या मजकुराशी जुळते
तुटलेले JSON-LD पूर्णपणे दुर्लक्षित होते, त्यामुळे एक स्वल्पविराम चुकला तरी सगळे जाते. URL Google च्या Rich Results Test किंवा Schema Markup Validator मध्ये टाका आणि प्रत्येक एरर दुरुस्त करा.
मग मूल्यांची पेजशी तुलना करा. मार्कअपमधील हेडलाइन, तारखा, किंमत, चलन आणि संस्थेचे नाव वाचकाला दिसतात तेच असावेत. Google सांगते की त्यांच्या AI वैशिष्ट्यांसाठी कोणत्याही खास मार्कअपची गरज नाही, आणि स्ट्रक्चर्ड डेटा दिसणाऱ्या मजकुराशी जुळायला हवा.
पास: कोणतीही एरर नाही, आणि प्रत्येक मूल्य पेजवर दिसते. कधी वगळा: त्या पेज प्रकारासाठी योग्य मार्कअप नाही; चुकीच्या मार्कअपपेक्षा साधे पेज चांगले.
9. दिसणारी तारीख, मार्कअपमधील तारखा आणि sitemap चा lastmod जुळतात
पेजवर लेबल असलेली तारीख दाखवा, datePublished आणि dateModified मध्ये त्याच तारखा वापरा, आणि sitemap चा lastmod शेवटच्या महत्त्वाच्या बदलावर सेट करा. Google ला दिसणाऱ्या आणि मार्कअपमधील तारखा जुळलेल्या हव्या असतात, आणि ते सांगते की lastmod सातत्याने आणि पडताळता येईल इतका अचूक असेल तरच ते वापरते.
प्रत्येक बिल्डवर प्रत्येक URL ला आजची तारीख लावणारा sitemap जनरेटर फक्त नवीन पेजसाठीच नव्हे, तर सर्व पेजसाठी lastmod निरुपयोगी करतो.
पास: तीन ठिकाणी, एक तारीख.
10. पेज sitemap मध्ये आहे आणि संबंधित पेजवरून लिंक केलेले आहे
क्रॉलर लिंक आणि sitemap द्वारे पेज शोधतात. नवीन URL तुमच्या XML sitemap मध्ये नेमक्या canonical URL सह जोडा, आणि किमान दोन संबंधित पेज आणि एका हब किंवा इंडेक्स पेजवरून तिची लिंक द्या.
एका sitemap फाइलमध्ये 50,000 पर्यंत URL आणि अनकॉम्प्रेस्ड 50 MB पर्यंत बसू शकते; मोठ्या साइटना sitemap इंडेक्स लागतो. Google सांगते की ते priority आणि changefreq दुर्लक्षित करते, म्हणून त्यांच्यावर वेळ घालवू नका. अंतर्गत लिंक नसलेले पेज अनाथ पेज असते, जे क्रॉलरना उशिरा सापडू शकते किंवा अजिबात नाही.
पास: URL sitemap मध्ये आहे आणि किमान दोन पेज वर्णनात्मक अँकर मजकुरासह तिची लिंक देतात.
11. hreflang परस्पर आहे, x-default सह
पेज अनेक भाषांमध्ये असल्यास, प्रत्येक व्हर्जनने स्वतःसह सर्व व्हर्जनची यादी द्यावी, आणि प्रत्येकाने परत लिंक द्यायला हवी. दुसऱ्या बाजूने पुष्टी न झालेली hreflang एनोटेशन Google दुर्लक्षित करते. कोणतीही भाषा जुळत नसताना दाखवल्या जाणाऱ्या व्हर्जनसाठी x-default जोडा.
कधी वगळा: साइट एकाच भाषेत आहे. hreflang x-default वरील आमचे मार्गदर्शक त्याची गरज कधी असते ते सांगते.
12. सर्च इंजिनना नवीन पेज क्रॉल करायला सांगा
पेज लाइव्ह झाल्यावर आणि वरील तपासण्या पास केल्यावर, सर्च इंजिनना त्याबद्दल सांगा. Google Search Console मध्ये नवीन URL वर URL तपासणी चालवा आणि इंडेक्सिंगची विनंती करा निवडा. Bing आणि IndexNow ला समर्थन देणाऱ्या इतर इंजिनसाठी, तुमच्या key सह URL IndexNow एंडपॉइंटवर सबमिट करा; Bing नमूद करते की यामुळे क्रॉलिंग किंवा इंडेक्सिंगची हमी मिळत नाही.
AI असिस्टंटकडे सबमिशन फॉर्म नाही. त्यांचे क्रॉलर लिंक आणि सर्चद्वारे पेज शोधतात, म्हणूनच तपासण्या 2, 3 आणि 10 महत्त्वाच्या आहेत. तुम्ही llms.txt फाइल प्रकाशित करत असाल, तर पेज तिथेही जोडा; Google सांगते की त्यांचे सर्च ती वापरत नाही, म्हणून ती पर्यायी समजा.
पास: URL तपासणी दाखवते की लाइव्ह पेज इंडेक्स होऊ शकते.
आम्ही या तपासण्या कशा निवडल्या
यादी क्रॉलर घेतो त्या मार्गाचे अनुसरण करते: URL पर्यंत पोहोचणे, robots.txt वाचणे, फायरवॉल पार करणे, HTML वाचणे, मग त्याचा अर्थ लावणे. प्रत्येक तपासणी OpenAI, Anthropic, Perplexity आणि Google त्यांच्या क्रॉलरबद्दल जे दस्तऐवजीकृत करतात, robots.txt साठी RFC 9309, आणि canonical, तारखा, sitemap आणि hreflang वरील Google च्या मार्गदर्शनावर आधारित आहे. AI उत्तरांवर कोणताही दस्तऐवजीकृत परिणाम नसलेल्या तपासण्या, जसे कीवर्ड डेन्सिटी किंवा शब्दसंख्येची उद्दिष्टे, आम्ही वगळल्या.
तपासण्या दाखवतात की पेज वाचता येते; ते उद्धृत होईल हे त्या दाखवू शकत नाहीत. ते इतर स्रोतांच्या तुलनेत उत्तर किती चांगले आहे यावर अवलंबून असते. प्रत्येक फायरवॉल, CDN, थीम किंवा CMS बदलानंतर तपासण्या 2 ते 5 पुन्हा चालवा, कारण हेच बदल त्या शांतपणे बिघडवतात.
AISeeWhy यापैकी बहुतेक तपासण्या एकाच फेरीत चालवते: ते खऱ्या ब्राउझरसोबत 16 AI आणि सर्च क्रॉलर म्हणून पेज मिळवते, प्रत्येक क्रॉलरसाठी robots.txt लागू करते आणि HTML, मार्कअप, canonical आणि तारखा वाचते. मोफत तपासणी स्कोअर आणि पहिला निष्कर्ष दाखवते; पूर्ण अहवाल प्रत्येक समस्या तयार दुरुस्तीसह सांगतो.
या समस्येवरील उपाय
- OAI-SearchBot ब्लॉक आहे
- पेजच्या मजकुरासाठी JavaScript आवश्यक आहे
- साध्या मजकुरात लिहिलेल्या याद्या
- विभाग छोट्या उत्तराने सुरू होत नाहीत: 3 पैकी 2
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- llms.txt तपासणी आणि व्हॅलिडेटर
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
मला या तपासण्या प्रत्येक पेजवर चालवाव्या लागतील का?
प्रत्येक नवीन पेजवर तपासण्या 1 ते 5 चालवा, कारण एखादी URL स्वतंत्रपणे ब्लॉक असू शकते किंवा तिच्यावर राहिलेला noindex असू शकतो. तपासण्या 6 ते 11 मुख्यतः टेम्पलेटवर अवलंबून असतात, म्हणून त्या प्रत्येक पेज प्रकारासाठी एकदा चालवा आणि नवीन पेज अधूनमधून तपासा.
Google प्रमाणे मी ChatGPT किंवा Claude ला पेज सबमिट का करू शकत नाही?
OpenAI, Anthropic आणि Perplexity वेब पेजसाठी URL सबमिशन टूल देत नाहीत. त्यांचे क्रॉलर लिंकच्या आधारे आणि सर्चद्वारे पेज शोधतात, म्हणून अंतर्गत लिंक, एक sitemap, आणि OAI-SearchBot, Claude-SearchBot व PerplexityBot साठी खुला ॲक्सेस याच गोष्टी तुमच्या नियंत्रणात आहेत.
माझे पेज सर्व बारा तपासण्या पास करते. तरीही ते उद्धृत का होत नाही?
तपासण्या पेज वाचण्यायोग्य बनवतात, पसंतीचे नव्हे. असिस्टंट प्रश्नाचे सर्वोत्तम उत्तर देणारे स्रोत निवडतो, म्हणून तुमच्या पेजची तुलना तो उद्धृत करतो त्या पेजशी करा: ते लवकर उत्तर देतात का, किमती किंवा स्पेसिफिकेशन मजकुरात देतात का, किंवा तुमच्या पेजवर नसलेला डेटा देतात का.
प्रकाशित केल्यानंतर किती लवकर AI क्रॉलर येतात?
कोणतीही कंपनी वेळापत्रक प्रकाशित करत नाही. तुमचे सर्व्हर लॉग दाखवतात की OAI-SearchBot, Claude-SearchBot किंवा PerplexityBot ने पहिल्यांदा URL कधी मागवली; AI क्रॉलरसाठी सर्व्हर लॉग तपासण्यावरील आमचे मार्गदर्शक ते कसे शोधायचे ते दाखवते.
स्रोत
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रॉलरचा परिचय
- Anthropic: Anthropic वेबवरून डेटा क्रॉल करते का, आणि साइट मालक क्रॉलर कसा ब्लॉक करू शकतात?
- Perplexity: Perplexity क्रॉलर
- Google Search Central: AI वैशिष्ट्ये आणि तुमची वेबसाइट
- Google Search Central: Robots meta tag, data-nosnippet आणि X-Robots-Tag
- Google Search Central: canonical URL कशी नमूद करावी
- Google Search Central: तुमच्या बायलाइन तारखांवर प्रभाव टाका
- Google Search Central: sitemap तयार करा आणि सबमिट करा
- Sitemaps.org: Sitemaps XML फॉरमॅट
- Google Search Central: Google ला तुमच्या पेजच्या स्थानिक व्हर्जनबद्दल सांगा
- Google Search Console मदत: URL तपासणी टूल
- Bing: IndexNow, सुरुवात करा
- Google Search Console मदत: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: JavaScript SEO च्या मूलभूत गोष्टी