AI क्रॉलर JavaScript ने रेंडर होणारा मजकूर वाचू शकतात का?

प्रकाशित

छोटे उत्तर

अनेकदा नाही. Googlebot नंतरच्या टप्प्यात JavaScript रेंडर करतो, पण बहुतेक AI क्रॉलर तसे करत असल्याचे दस्तऐवजात सांगत नाहीत, आणि Google स्वतः नमूद करते की सर्व बॉट JavaScript चालवू शकत नाहीत. तुमचा मजकूर स्क्रिप्ट चालल्यानंतरच दिसत असल्यास, AI क्रॉलरला रिकामे पेज मिळू शकते. सर्व्हर-साइड रेंडरिंग किंवा स्टॅटिक पेजेसने मुख्य मजकूर सुरुवातीच्या HTML मध्येच द्या.

single-page ॲप आणि client-side फ्रेमवर्क सगळीकडे आहेत, आणि ब्राउझरमध्ये ते छान दिसतात. तुमचा सर्व्हर पाठवत असलेले HTML च फक्त वाचणाऱ्या क्रॉलरला वेगळेच दिसते: एक <div id="root"></div>, काही script टॅग आणि अगदी थोडा किंवा अजिबात मजकूर नाही. AI उत्तरांसाठी अशा पेजमध्ये उद्धृत करण्यासारखे काहीच नसते.

या पेजवर
  1. AI क्रॉलरकडून JavaScript मधील मजकूर का सुटतो?
  2. क्रॉलरला काय मिळते ते कसे तपासावे?
  3. कोणत्या पेजेसना सर्वाधिक धोका आहे?
  4. फक्त JavaScript मधील मजकूर कसा दुरुस्त करावा?
  5. लॉगिन, consent आणि paywall स्क्रीनही AI क्रॉलरना ब्लॉक करतात का?
  6. AISeeWhy फक्त JavaScript वर चालणारी पेजेस कशी ओळखते?

AI क्रॉलरकडून JavaScript मधील मजकूर का सुटतो?

JavaScript चालवणे खर्चिक आहे. क्रॉलरला स्क्रिप्ट डाउनलोड कराव्या लागतात, ब्राउझर इंजिनमध्ये चालवाव्या लागतात आणि डेटा लोड होईपर्यंत थांबावे लागते. Google हे Search साठी करते: ते क्रॉल करते, पेजेस रेंडरिंगसाठी रांगेत ठेवते, आणि संसाधने उपलब्ध असताना headless Chromium ने ती रेंडर करते. तरीही Google सर्व्हर-साइड रेंडरिंग किंवा प्रीरेंडरिंगची शिफारस करते, कारण ते युजर आणि क्रॉलर दोघांसाठी जलद आहे, आणि नमूद करते की सर्व बॉट JavaScript चालवू शकत नाहीत.

OpenAI, Anthropic आणि Perplexity त्यांच्या क्रॉलर दस्तऐवजात त्यांचे एजंट JavaScript चालवतात असे सांगत नाहीत. Apple सांगते की Applebot पेजेस ब्राउझरमध्ये रेंडर करू शकतो. स्पष्ट विधान नसताना, AI क्रॉलरबद्दल सुरक्षित गृहीतक हे की ते फक्त सुरुवातीचे HTML वाचतात.

क्रॉलरला काय मिळते ते कसे तपासावे?

रेंडर झालेले पेज नव्हे, तर कच्चे HTML पाहा. ब्राउझरची developer tools स्क्रिप्ट चालल्यानंतरचे DOM दाखवतात, जे क्रॉलरला मिळत नाही. view-source वापरा, किंवा कमांड लाइनवरून कच्चे HTML सेव्ह करून त्यात शोधा:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

निकाल 0 म्हणजे ते वाक्य सर्व्हरने पाठवलेल्या HTML मध्ये नाही, त्यामुळे स्क्रिप्ट न चालवणाऱ्या क्रॉलरना ते सापडणार नाही. फाइलवर एक नजर टाकल्यास बाकी कळते: सर्व्हरवर रेंडर झालेल्या लेखाचा पूर्ण मजकूर तिथे असतो; client-side साच्यात रिकामा root घटक आणि स्क्रिप्टची यादी असते.

कोणत्या पेजेसना सर्वाधिक धोका आहे?

फक्त JavaScript मधील मजकूर कसा दुरुस्त करावा?

उपाय म्हणजे महत्त्वाचा मजकूर पहिल्याच प्रतिसादात पाठवणे. तुमच्या स्टॅकमध्ये शक्य असलेला सर्वात हलका पर्याय निवडा:

संपूर्ण ॲप एकदम बदलण्याची गरज नाही. ज्या पेजेसचा संदर्भ दिला जावा असे वाटते त्यांपासून सुरुवात करा: लेख, दस्तऐवज, उत्पादन आणि किंमत पेजेस. खाते विभाग आणि डॅशबोर्ड client-side राहू शकतात, कारण ते तसेही लॉगिनमागे असतात.

युजर एजंटच्या आधारे क्रॉलरना युजरपेक्षा वेगळे पेज देणे टाळा. सर्वांसाठी एकच HTML रेंडर करणे सांभाळायला सोपे आहे आणि cloaking बद्दलची कोणतीही शंका टाळते.

लॉगिन, consent आणि paywall स्क्रीनही AI क्रॉलरना ब्लॉक करतात का?

होय. क्रॉलर लॉगिन करत नाही, कुकी बॅनरवर क्लिक करत नाही आणि चॅलेंज सोडवत नाही. Anthropic सांगते की त्याचे बॉट CAPTCHA बायपास करण्याचा प्रयत्न करणार नाहीत. consent manager HTML मध्ये पेजच्या जागी फुल-स्क्रीन overlay ठेवत असल्यास, किंवा पहिल्यांदा येणाऱ्या अभ्यागतांना consent पेजवर रीडायरेक्ट करत असल्यास, क्रॉलरला तुमच्या मजकुराऐवजी तेच मिळते.

सार्वजनिक पेजेस consent स्थिती काहीही असली तरी त्यांचा मजकूर HTML मध्ये रेंडर करतात याची खात्री करा, बॅनर पेजची जागा घेणारा नव्हे तर overlay म्हणून ठेवा. ज्या पेजेसचा संदर्भ दिला जावा असे वाटते ती लॉगिनच्या भिंतीबाहेर ठेवा, आणि क्रॉलर साइन-इन पेजवर रीडायरेक्ट होत नाही हे तपासा.

AISeeWhy फक्त JavaScript वर चालणारी पेजेस कशी ओळखते?

AISeeWhy स्क्रिप्ट न चालवता, प्रत्येक क्रॉलरला मिळते तसे सुरुवातीचे HTML वाचते. पेजवर जवळजवळ दिसणारा मजकूर नसेल पण फ्रेमवर्कचा root घटक आणि स्क्रिप्ट असतील, तर ते मजकुरासाठी JavaScript आवश्यक असल्याचा P1 निष्कर्ष दाखवते. ब्राउझरला मिळणाऱ्या पेजऐवजी क्रॉलरना दुसरीकडे पाठवणारे रीडायरेक्टही ते दाखवते.

या समस्येवरील उपाय

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

Googlebot JavaScript रेंडर करतो का?

होय. Google HTML क्रॉल करते, पेजेस रेंडरिंगसाठी रांगेत ठेवते आणि संसाधने उपलब्ध असताना headless Chromium ने ती रेंडर करते. तरीही Google सर्व्हर-साइड रेंडरिंग किंवा प्रीरेंडरिंगची शिफारस करते.

ChatGPT, Claude आणि Perplexity चे क्रॉलर JavaScript चालवतात का?

त्यांच्या कंपन्यांचे क्रॉलर दस्तऐवज तसे सांगत नाहीत. एखादी कंपनी वेगळे सांगत नाही तोपर्यंत, क्रॉलर सुरुवातीचे HTML वाचतो असे गृहीत धरा आणि तुमचा मजकूर त्यात असल्याची खात्री करा.

बॉटसाठी dynamic rendering ही चांगली कल्पना आहे का?

तात्पुरता उपाय म्हणून ते चालते, पण सांभाळण्यासाठी रेंडरिंगचा दुसरा मार्ग वाढतो. सर्व्हर-साइड रेंडरिंग किंवा स्टॅटिक HTML सर्वांना एकच मजकूर देते आणि दीर्घकाळासाठी तो सोपा उपाय आहे.

JavaScript ने जोडलेले JSON-LD गणले जाते का?

Google रेंडरिंगनंतर ते वाचू शकते, पण स्क्रिप्ट न चालवणाऱ्या क्रॉलरना ते दिसणार नाही. JSON-LD सुरुवातीच्या HTML मध्ये ठेवा.

स्रोत

आणखी लेख