AI क्रॉलर JavaScript ने रेंडर होणारा मजकूर वाचू शकतात का?
अनेकदा नाही. Googlebot नंतरच्या टप्प्यात JavaScript रेंडर करतो, पण बहुतेक AI क्रॉलर तसे करत असल्याचे दस्तऐवजात सांगत नाहीत, आणि Google स्वतः नमूद करते की सर्व बॉट JavaScript चालवू शकत नाहीत. तुमचा मजकूर स्क्रिप्ट चालल्यानंतरच दिसत असल्यास, AI क्रॉलरला रिकामे पेज मिळू शकते. सर्व्हर-साइड रेंडरिंग किंवा स्टॅटिक पेजेसने मुख्य मजकूर सुरुवातीच्या HTML मध्येच द्या.
single-page ॲप आणि client-side फ्रेमवर्क सगळीकडे आहेत, आणि ब्राउझरमध्ये ते छान दिसतात. तुमचा सर्व्हर पाठवत असलेले HTML च फक्त वाचणाऱ्या क्रॉलरला वेगळेच दिसते: एक <div id="root"></div>, काही script टॅग आणि अगदी थोडा किंवा अजिबात मजकूर नाही. AI उत्तरांसाठी अशा पेजमध्ये उद्धृत करण्यासारखे काहीच नसते.
या पेजवर
AI क्रॉलरकडून JavaScript मधील मजकूर का सुटतो?
JavaScript चालवणे खर्चिक आहे. क्रॉलरला स्क्रिप्ट डाउनलोड कराव्या लागतात, ब्राउझर इंजिनमध्ये चालवाव्या लागतात आणि डेटा लोड होईपर्यंत थांबावे लागते. Google हे Search साठी करते: ते क्रॉल करते, पेजेस रेंडरिंगसाठी रांगेत ठेवते, आणि संसाधने उपलब्ध असताना headless Chromium ने ती रेंडर करते. तरीही Google सर्व्हर-साइड रेंडरिंग किंवा प्रीरेंडरिंगची शिफारस करते, कारण ते युजर आणि क्रॉलर दोघांसाठी जलद आहे, आणि नमूद करते की सर्व बॉट JavaScript चालवू शकत नाहीत.
OpenAI, Anthropic आणि Perplexity त्यांच्या क्रॉलर दस्तऐवजात त्यांचे एजंट JavaScript चालवतात असे सांगत नाहीत. Apple सांगते की Applebot पेजेस ब्राउझरमध्ये रेंडर करू शकतो. स्पष्ट विधान नसताना, AI क्रॉलरबद्दल सुरक्षित गृहीतक हे की ते फक्त सुरुवातीचे HTML वाचतात.
क्रॉलरला काय मिळते ते कसे तपासावे?
रेंडर झालेले पेज नव्हे, तर कच्चे HTML पाहा. ब्राउझरची developer tools स्क्रिप्ट चालल्यानंतरचे DOM दाखवतात, जे क्रॉलरला मिळत नाही. view-source वापरा, किंवा कमांड लाइनवरून कच्चे HTML सेव्ह करून त्यात शोधा:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html निकाल 0 म्हणजे ते वाक्य सर्व्हरने पाठवलेल्या HTML मध्ये नाही, त्यामुळे स्क्रिप्ट न चालवणाऱ्या क्रॉलरना ते सापडणार नाही. फाइलवर एक नजर टाकल्यास बाकी कळते: सर्व्हरवर रेंडर झालेल्या लेखाचा पूर्ण मजकूर तिथे असतो; client-side साच्यात रिकामा root घटक आणि स्क्रिप्टची यादी असते.
कोणत्या पेजेसना सर्वाधिक धोका आहे?
- React, Vue, Angular किंवा Svelte ने बनवलेले, सगळे काही ब्राउझरमध्ये रेंडर करणारे single-page ॲप.
- लोड झाल्यानंतर API कडून मुख्य मजकूर मिळवणारी पेजेस, उदाहरणार्थ उत्पादनाचा तपशील, किमती किंवा रिव्ह्यू.
- टॅब, accordion किंवा "load more" विभागांमधील मजकूर, जो फक्त क्लिकवर मागवला जातो.
- लॉगिन, paywall किंवा consent wall मागील पेजेस, जे क्रॉलर पार करू शकत नाही.
noindexकिंवा canonical URL फक्त JavaScript द्वारे सेट करणारी पेजेस. Google इशारा देते की मूळ HTML मध्येnoindexदिसल्यास ते रेंडरिंग पूर्णपणे वगळू शकते.
फक्त JavaScript मधील मजकूर कसा दुरुस्त करावा?
उपाय म्हणजे महत्त्वाचा मजकूर पहिल्याच प्रतिसादात पाठवणे. तुमच्या स्टॅकमध्ये शक्य असलेला सर्वात हलका पर्याय निवडा:
- सर्व्हर-साइड रेंडरिंग (SSR): Next.js, Nuxt, SvelteKit आणि Angular SSR सारखे फ्रेमवर्क पेज सर्व्हरवर रेंडर करतात आणि ब्राउझरमध्ये hydrate करतात.
- स्टॅटिक जनरेशन किंवा प्रीरेंडरिंग: क्वचित बदलणाऱ्या पेजेससाठी, उदा. लेख, दस्तऐवज आणि लँडिंग पेजेस, HTML डिप्लॉयच्या वेळीच तयार करा.
- Progressive enhancement: मजकूर, शीर्षके, लिंक, किमती आणि JSON-LD HTML मध्ये ठेवा आणि JavaScript फक्त परस्परसंवादासाठी वापरा.
- महत्त्वाचे थेट HTML मध्ये ठेवा: टॅब मजकूर लपवत असल्यास, तो क्लिकवर मागवण्याऐवजी सगळा HTML मध्ये ठेवा आणि CSS किंवा स्क्रिप्टने दृश्यमानता बदला.
संपूर्ण ॲप एकदम बदलण्याची गरज नाही. ज्या पेजेसचा संदर्भ दिला जावा असे वाटते त्यांपासून सुरुवात करा: लेख, दस्तऐवज, उत्पादन आणि किंमत पेजेस. खाते विभाग आणि डॅशबोर्ड client-side राहू शकतात, कारण ते तसेही लॉगिनमागे असतात.
युजर एजंटच्या आधारे क्रॉलरना युजरपेक्षा वेगळे पेज देणे टाळा. सर्वांसाठी एकच HTML रेंडर करणे सांभाळायला सोपे आहे आणि cloaking बद्दलची कोणतीही शंका टाळते.
लॉगिन, consent आणि paywall स्क्रीनही AI क्रॉलरना ब्लॉक करतात का?
होय. क्रॉलर लॉगिन करत नाही, कुकी बॅनरवर क्लिक करत नाही आणि चॅलेंज सोडवत नाही. Anthropic सांगते की त्याचे बॉट CAPTCHA बायपास करण्याचा प्रयत्न करणार नाहीत. consent manager HTML मध्ये पेजच्या जागी फुल-स्क्रीन overlay ठेवत असल्यास, किंवा पहिल्यांदा येणाऱ्या अभ्यागतांना consent पेजवर रीडायरेक्ट करत असल्यास, क्रॉलरला तुमच्या मजकुराऐवजी तेच मिळते.
सार्वजनिक पेजेस consent स्थिती काहीही असली तरी त्यांचा मजकूर HTML मध्ये रेंडर करतात याची खात्री करा, बॅनर पेजची जागा घेणारा नव्हे तर overlay म्हणून ठेवा. ज्या पेजेसचा संदर्भ दिला जावा असे वाटते ती लॉगिनच्या भिंतीबाहेर ठेवा, आणि क्रॉलर साइन-इन पेजवर रीडायरेक्ट होत नाही हे तपासा.
AISeeWhy फक्त JavaScript वर चालणारी पेजेस कशी ओळखते?
AISeeWhy स्क्रिप्ट न चालवता, प्रत्येक क्रॉलरला मिळते तसे सुरुवातीचे HTML वाचते. पेजवर जवळजवळ दिसणारा मजकूर नसेल पण फ्रेमवर्कचा root घटक आणि स्क्रिप्ट असतील, तर ते मजकुरासाठी JavaScript आवश्यक असल्याचा P1 निष्कर्ष दाखवते. ब्राउझरला मिळणाऱ्या पेजऐवजी क्रॉलरना दुसरीकडे पाठवणारे रीडायरेक्टही ते दाखवते.
या समस्येवरील उपाय
- AI एजंटसाठी Markdown आवृत्ती नाही
- पेजच्या मजकुरासाठी JavaScript आवश्यक आहे
- किंमत मार्कअपमध्ये आहे पण पानाच्या मजकुरात नाही
- मार्कअपमधील रेटिंग पान दाखवत नाही
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
Googlebot JavaScript रेंडर करतो का?
होय. Google HTML क्रॉल करते, पेजेस रेंडरिंगसाठी रांगेत ठेवते आणि संसाधने उपलब्ध असताना headless Chromium ने ती रेंडर करते. तरीही Google सर्व्हर-साइड रेंडरिंग किंवा प्रीरेंडरिंगची शिफारस करते.
ChatGPT, Claude आणि Perplexity चे क्रॉलर JavaScript चालवतात का?
त्यांच्या कंपन्यांचे क्रॉलर दस्तऐवज तसे सांगत नाहीत. एखादी कंपनी वेगळे सांगत नाही तोपर्यंत, क्रॉलर सुरुवातीचे HTML वाचतो असे गृहीत धरा आणि तुमचा मजकूर त्यात असल्याची खात्री करा.
बॉटसाठी dynamic rendering ही चांगली कल्पना आहे का?
तात्पुरता उपाय म्हणून ते चालते, पण सांभाळण्यासाठी रेंडरिंगचा दुसरा मार्ग वाढतो. सर्व्हर-साइड रेंडरिंग किंवा स्टॅटिक HTML सर्वांना एकच मजकूर देते आणि दीर्घकाळासाठी तो सोपा उपाय आहे.
JavaScript ने जोडलेले JSON-LD गणले जाते का?
Google रेंडरिंगनंतर ते वाचू शकते, पण स्क्रिप्ट न चालवणाऱ्या क्रॉलरना ते दिसणार नाही. JSON-LD सुरुवातीच्या HTML मध्ये ठेवा.
स्रोत
- Google Search Central: JavaScript SEO च्या मूलभूत गोष्टी
- Apple: Applebot बद्दल
- OpenAI: OpenAI क्रॉलरचे विहंगावलोकन
- Anthropic: Anthropic वेबवरून डेटा क्रॉल करते का, आणि साइट मालक क्रॉलर कसा ब्लॉक करू शकतात?
- Perplexity: Perplexity क्रॉलर