के AI क्रलरले JavaScript ले render गरेको सामग्री पढ्न सक्छन्?

प्रकाशित

छोटो उत्तर

प्रायः सक्दैनन्। Googlebot ले पछिको चरणमा JavaScript render गर्छ, तर धेरैजसो AI क्रलरले यसो गर्ने कागजात दिँदैनन्, र Google आफैँ भन्छ सबै बटले JavaScript चलाउन सक्दैनन्। तपाईंको पाठ स्क्रिप्ट चलेपछि मात्र देखिन्छ भने AI क्रलरले खाली पेज पाउन सक्छ। मुख्य सामग्री सर्भर-साइड रेन्डरिङ वा स्ट्याटिक पेजबाट सुरुको HTML मै दिनुहोस्।

Single-page app र client-side फ्रेमवर्क जताततै छन्, र ब्राउजरमा राम्रै देखिन्छन्। तपाईंको सर्भरले पठाउने HTML मात्र पढ्ने क्रलरले अर्कै कुरा देख्छ: एउटा <div id="root"></div>, केही script ट्याग र थोरै वा कुनै पाठ छैन। AI उत्तरका लागि त्यो पेजमा उद्धृत गर्ने केही हुँदैन।

यस पेजमा
  1. AI क्रलरबाट JavaScript सामग्री किन छुट्छ?
  2. क्रलरले के पाउँछ कसरी जाँच्ने?
  3. कुन पेज सबैभन्दा जोखिममा छन्?
  4. JavaScript मा मात्र भएको सामग्री कसरी सच्याउने?
  5. के लगइन, consent र paywall स्क्रिनले पनि AI क्रलर ब्लक गर्छन्?
  6. AISeeWhy ले JavaScript मा मात्र चल्ने पेज कसरी पत्ता लगाउँछ?

AI क्रलरबाट JavaScript सामग्री किन छुट्छ?

JavaScript चलाउनु महँगो हुन्छ। क्रलरले स्क्रिप्ट डाउनलोड गर्नुपर्छ, तिनलाई ब्राउजर इन्जिनमा चलाउनुपर्छ र डेटा लोड हुन पर्खनुपर्छ। Google ले Search का लागि यो गर्छ: यसले क्रल गर्छ, पेजलाई रेन्डरिङको लाइनमा राख्छ, र स्रोत उपलब्ध हुँदा headless Chromium ले render गर्छ। तैपनि Google सर्भर-साइड रेन्डरिङ वा प्रिरेन्डरिङ सिफारिस गर्छ, किनभने यो प्रयोगकर्ता र क्रलर दुवैका लागि छिटो हुन्छ, र सबै बटले JavaScript चलाउन सक्दैनन् भन्छ।

OpenAI, Anthropic र Perplexity ले आफ्ना क्रलर कागजातमा तिनका एजेन्टले JavaScript चलाउँछन् भनेर बताउँदैनन्। Apple भन्छ Applebot ले ब्राउजरमा पेज render गर्न सक्छ। स्पष्ट कथन नभएसम्म AI क्रलरका लागि सुरक्षित अनुमान यही हो कि तिनले सुरुको HTML मात्र पढ्छन्।

क्रलरले के पाउँछ कसरी जाँच्ने?

render भएको पेज होइन, कच्चा HTML हेर्नुहोस्। ब्राउजरका developer tools ले स्क्रिप्ट चलेपछिको DOM देखाउँछन्, जुन क्रलरले पाउने कुरा होइन। view-source प्रयोग गर्नुहोस्, वा कमान्ड लाइनबाट कच्चा HTML सेभ गरेर त्यसमा खोज्नुहोस्:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

0 नतिजाको अर्थ वाक्य सर्भरले पठाएको HTML मा छैन, त्यसैले स्क्रिप्ट नचलाउने क्रलरले त्यसलाई भेट्टाउने छैनन्। फाइलमा एकपटक हेर्दा बाँकी थाहा हुन्छ: सर्भरमा render भएको लेखको पूरा पाठ त्यहाँ हुन्छ; client-side खोलमा खाली root तत्व र स्क्रिप्टको सूची हुन्छ।

कुन पेज सबैभन्दा जोखिममा छन्?

JavaScript मा मात्र भएको सामग्री कसरी सच्याउने?

समाधान भनेको महत्त्वपूर्ण सामग्री पहिलो प्रतिक्रियामै पठाउनु हो। तपाईंको stack ले दिने सबैभन्दा हल्का विकल्प छान्नुहोस्:

पूरै एप एकैपटक बदल्नुपर्दैन। उद्धृत हुन चाहेका पेजबाट सुरु गर्नुहोस्: लेख, कागजात, उत्पादन र मूल्यका पेज। खाता क्षेत्र र ड्यासबोर्ड client-side नै रहन सक्छन्, किनभने ती त जसरी पनि लगइनपछाडि छन्।

user agent का आधारमा क्रलरलाई प्रयोगकर्ताभन्दा फरक पेज नदिनुहोस्। सबैका लागि उही HTML render गर्नु सम्हाल्न सजिलो हुन्छ र cloaking को कुनै शङ्का रहँदैन।

के लगइन, consent र paywall स्क्रिनले पनि AI क्रलर ब्लक गर्छन्?

गर्छन्। क्रलरले लगइन गर्दैन, कुकी ब्यानरमा क्लिक गर्दैन र च्यालेन्ज समाधान गर्दैन। Anthropic भन्छ यसका बटले CAPTCHA बाइपास गर्ने प्रयास गर्दैनन्। consent manager ले HTML मा पेजलाई पूरै स्क्रिन ढाक्ने overlay ले प्रतिस्थापन गर्छ, वा पहिलो पटक आउनेलाई consent पेजमा रिडाइरेक्ट गर्छ भने क्रलरले तपाईंको सामग्रीको सट्टा त्यही पाउँछ।

सार्वजनिक पेजले consent को अवस्था जे भए पनि आफ्नो सामग्री HTML मा render गर्छन् भनी पक्का गर्नुहोस्, ब्यानरलाई प्रतिस्थापन होइन, overlay का रूपमा राखेर। उद्धृत हुन चाहेका पेज लगइन पर्खालबाहिर राख्नुहोस्, र क्रलरलाई साइन-इन पेजमा रिडाइरेक्ट गरिँदैन भनी जाँच्नुहोस्।

AISeeWhy ले JavaScript मा मात्र चल्ने पेज कसरी पत्ता लगाउँछ?

AISeeWhy ले हरेक क्रलरले पाउने सुरुको HTML स्क्रिप्ट नचलाई पढ्छ। पेजमा लगभग कुनै देखिने पाठ छैन तर फ्रेमवर्कको root तत्व र स्क्रिप्ट छन् भने यसले सामग्रीलाई JavaScript चाहिन्छ भन्ने P1 निष्कर्ष रिपोर्ट गर्छ। यसले ब्राउजरले पाउने पेजभन्दा अन्यत्र क्रलरलाई पठाउने रिडाइरेक्ट पनि देखाउँछ।

यो समस्याका समाधान

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

के Googlebot ले JavaScript render गर्छ?

गर्छ। Google ले HTML क्रल गर्छ, पेजलाई रेन्डरिङको लाइनमा राख्छ र स्रोत उपलब्ध हुँदा headless Chromium ले render गर्छ। तैपनि Google सर्भर-साइड रेन्डरिङ वा प्रिरेन्डरिङ सिफारिस गर्छ।

के ChatGPT, Claude र Perplexity का क्रलरले JavaScript चलाउँछन्?

तिनका कम्पनीका क्रलर कागजातले त्यसो भन्दैनन्। कुनै कम्पनीले अन्यथा नभनेसम्म क्रलरले सुरुको HTML पढ्छ भन्ने मान्नुहोस् र तपाईंको सामग्री त्यसमै छ भनी पक्का गर्नुहोस्।

के बटका लागि dynamic rendering राम्रो उपाय हो?

यसले अस्थायी उपायका रूपमा काम गर्छ, तर सम्हाल्नुपर्ने दोस्रो रेन्डरिङ बाटो थप्छ। सर्भर-साइड रेन्डरिङ वा स्ट्याटिक HTML ले सबैलाई उही सामग्री दिन्छ र दीर्घकालका लागि सरल समाधान हो।

के JavaScript ले थपेको JSON-LD गनिन्छ?

Google ले render गरेपछि यसलाई पढ्न सक्छ, तर स्क्रिप्ट नचलाउने क्रलरले देख्दैनन्। JSON-LD सुरुको HTML मै राख्नुहोस्।

स्रोतहरू

थप लेखहरू