JavaScript ರೆಂಡರ್ ಮಾಡುವ ವಿಷಯವನ್ನು AI ಕ್ರಾಲರ್‌ಗಳು ಓದಬಲ್ಲವೇ?

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

ಹೆಚ್ಚಾಗಿ ಇಲ್ಲ. Googlebot ನಂತರದ ಹಂತದಲ್ಲಿ JavaScript ರೆಂಡರ್ ಮಾಡುತ್ತದೆ, ಆದರೆ ಹೆಚ್ಚಿನ AI ಕ್ರಾಲರ್‌ಗಳು ಹಾಗೆ ಮಾಡುವುದಾಗಿ ದಾಖಲಿಸಿಲ್ಲ, ಮತ್ತು ಎಲ್ಲ ಬಾಟ್‌ಗಳೂ JavaScript ಚಲಾಯಿಸಲಾರವು ಎಂದು Google ತಾನೇ ಹೇಳುತ್ತದೆ. ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು ಚಲಿಸಿದ ನಂತರವಷ್ಟೇ ನಿಮ್ಮ ಪಠ್ಯ ಕಾಣಿಸಿದರೆ, AI ಕ್ರಾಲರ್‌ಗೆ ಖಾಲಿ ಪುಟ ಸಿಗಬಹುದು. ಮುಖ್ಯ ವಿಷಯವನ್ನು ಸರ್ವರ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್ ಅಥವಾ ಸ್ಥಿರ ಪುಟಗಳ ಮೂಲಕ ಆರಂಭಿಕ HTML ನಲ್ಲೇ ನೀಡಿ.

ಸಿಂಗಲ್-ಪೇಜ್ ಆ್ಯಪ್‌ಗಳು ಮತ್ತು ಕ್ಲೈಂಟ್-ಸೈಡ್ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳು ಎಲ್ಲೆಡೆ ಇವೆ, ಬ್ರೌಸರ್‌ನಲ್ಲಿ ಅವು ಚೆನ್ನಾಗಿಯೇ ಕಾಣುತ್ತವೆ. ನಿಮ್ಮ ಸರ್ವರ್ ಕಳುಹಿಸುವ HTML ಅನ್ನು ಮಾತ್ರ ಓದುವ ಕ್ರಾಲರ್ ಬೇರೆಯದನ್ನೇ ನೋಡುತ್ತದೆ: ಒಂದು <div id="root"></div>, ಕೆಲವು ಸ್ಕ್ರಿಪ್ಟ್ ಟ್ಯಾಗ್‌ಗಳು ಮತ್ತು ಸ್ವಲ್ಪ ಪಠ್ಯ ಅಥವಾ ಏನೂ ಇಲ್ಲ. AI ಉತ್ತರಗಳಿಗೆ ಆ ಪುಟದಲ್ಲಿ ಉಲ್ಲೇಖಿಸಲು ಏನೂ ಇಲ್ಲ.

ಈ ಪುಟದಲ್ಲಿ
  1. AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ JavaScript ವಿಷಯ ಏಕೆ ಸಿಗುವುದಿಲ್ಲ?
  2. ಕ್ರಾಲರ್‌ಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
  3. ಯಾವ ಪುಟಗಳಿಗೆ ಹೆಚ್ಚು ಅಪಾಯ?
  4. JavaScript ನಲ್ಲಿ ಮಾತ್ರ ಇರುವ ವಿಷಯವನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು?
  5. ಲಾಗಿನ್, ಸಮ್ಮತಿ ಮತ್ತು ಪೇವಾಲ್ ಪರದೆಗಳೂ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆಯುತ್ತವೆಯೇ?
  6. JavaScript ನಲ್ಲಿ ಮಾತ್ರ ಇರುವ ಪುಟಗಳನ್ನು AISeeWhy ಹೇಗೆ ಪತ್ತೆ ಮಾಡುತ್ತದೆ?

AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ JavaScript ವಿಷಯ ಏಕೆ ಸಿಗುವುದಿಲ್ಲ?

JavaScript ಚಲಾಯಿಸುವುದು ದುಬಾರಿ. ಕ್ರಾಲರ್ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಬೇಕು, ಬ್ರೌಸರ್ ಎಂಜಿನ್‌ನಲ್ಲಿ ಚಲಾಯಿಸಬೇಕು ಮತ್ತು ಡೇಟಾ ಲೋಡ್ ಆಗುವವರೆಗೆ ಕಾಯಬೇಕು. Google ಇದನ್ನು ಹುಡುಕಾಟಕ್ಕಾಗಿ ಮಾಡುತ್ತದೆ: ಅದು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ, ಪುಟಗಳನ್ನು ರೆಂಡರಿಂಗ್‌ಗಾಗಿ ಸರದಿಯಲ್ಲಿ ಇರಿಸುತ್ತದೆ, ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳು ಅನುಮತಿಸಿದಾಗ headless Chromium ಬಳಸಿ ರೆಂಡರ್ ಮಾಡುತ್ತದೆ. ಆದರೂ Google ಸರ್ವರ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್ ಅಥವಾ ಪ್ರೀರೆಂಡರಿಂಗ್ ಅನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ, ಏಕೆಂದರೆ ಅದು ಬಳಕೆದಾರರಿಗೂ ಕ್ರಾಲರ್‌ಗಳಿಗೂ ವೇಗವಾಗಿರುತ್ತದೆ, ಮತ್ತು ಎಲ್ಲ ಬಾಟ್‌ಗಳೂ JavaScript ಚಲಾಯಿಸಲಾರವು ಎಂದು ಗಮನಿಸುತ್ತದೆ.

OpenAI, Anthropic ಮತ್ತು Perplexity ತಮ್ಮ ಏಜೆಂಟ್‌ಗಳು JavaScript ಚಲಾಯಿಸುತ್ತವೆ ಎಂದು ತಮ್ಮ ಕ್ರಾಲರ್ ದಾಖಲೆಗಳಲ್ಲಿ ಹೇಳಿಲ್ಲ. Applebot ಪುಟಗಳನ್ನು ಬ್ರೌಸರ್‌ನಲ್ಲಿ ರೆಂಡರ್ ಮಾಡಬಹುದು ಎಂದು Apple ಹೇಳುತ್ತದೆ. ಸ್ಪಷ್ಟ ಹೇಳಿಕೆ ಇಲ್ಲದಿದ್ದಾಗ, AI ಕ್ರಾಲರ್‌ಗಳು ಆರಂಭಿಕ HTML ಅನ್ನು ಮಾತ್ರ ಓದುತ್ತವೆ ಎಂದು ಭಾವಿಸುವುದೇ ಸುರಕ್ಷಿತ.

ಕ್ರಾಲರ್‌ಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

ರೆಂಡರ್ ಆದ ಪುಟವನ್ನಲ್ಲ, ಕಚ್ಚಾ HTML ಅನ್ನು ನೋಡಿ. ಬ್ರೌಸರ್‌ನ ಡೆವಲಪರ್ ಟೂಲ್‌ಗಳು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು ಚಲಿಸಿದ ನಂತರದ DOM ಅನ್ನು ತೋರಿಸುತ್ತವೆ, ಕ್ರಾಲರ್‌ಗೆ ಸಿಗುವುದು ಅದಲ್ಲ. view-source ಬಳಸಿ, ಅಥವಾ ಕಮಾಂಡ್ ಲೈನ್‌ನಿಂದ ಕಚ್ಚಾ HTML ಉಳಿಸಿ ಅದರಲ್ಲಿ ಹುಡುಕಿ:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

ಫಲಿತಾಂಶ 0 ಆಗಿದ್ದರೆ ಆ ವಾಕ್ಯ ಸರ್ವರ್ ಕಳುಹಿಸಿದ HTML ನಲ್ಲಿ ಇಲ್ಲ, ಆದ್ದರಿಂದ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಚಲಾಯಿಸದ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಅದು ಸಿಗುವುದಿಲ್ಲ. ಫೈಲ್ ಅನ್ನು ಒಮ್ಮೆ ನೋಡಿದರೆ ಉಳಿದದ್ದು ತಿಳಿಯುತ್ತದೆ: ಸರ್ವರ್‌ನಲ್ಲಿ ರೆಂಡರ್ ಆದ ಲೇಖನದ ಪೂರ್ಣ ಪಠ್ಯ ಅಲ್ಲಿರುತ್ತದೆ; ಕ್ಲೈಂಟ್-ಸೈಡ್ ಶೆಲ್‌ನಲ್ಲಿ ಖಾಲಿ root ಎಲಿಮೆಂಟ್ ಮತ್ತು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳ ಪಟ್ಟಿ ಮಾತ್ರ ಇರುತ್ತದೆ.

ಯಾವ ಪುಟಗಳಿಗೆ ಹೆಚ್ಚು ಅಪಾಯ?

JavaScript ನಲ್ಲಿ ಮಾತ್ರ ಇರುವ ವಿಷಯವನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು?

ಮುಖ್ಯ ವಿಷಯವನ್ನು ಮೊದಲ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲೇ ಕಳುಹಿಸುವುದು ಪರಿಹಾರ. ನಿಮ್ಮ ಸ್ಟ್ಯಾಕ್ ಅನುಮತಿಸುವ ಅತ್ಯಂತ ಹಗುರ ಆಯ್ಕೆಯನ್ನು ಆರಿಸಿ:

ಇಡೀ ಆ್ಯಪ್ ಅನ್ನು ಒಮ್ಮೆಲೇ ಬದಲಾಯಿಸಬೇಕಿಲ್ಲ. ಉಲ್ಲೇಖಿಸಲ್ಪಡಬೇಕೆಂದು ನೀವು ಬಯಸುವ ಪುಟಗಳಿಂದ ಆರಂಭಿಸಿ: ಲೇಖನಗಳು, ದಾಖಲೆಗಳು, ಉತ್ಪನ್ನ ಮತ್ತು ಬೆಲೆ ಪುಟಗಳು. ಖಾತೆ ವಿಭಾಗಗಳು ಮತ್ತು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳು ಕ್ಲೈಂಟ್-ಸೈಡ್ ಆಗಿಯೇ ಉಳಿಯಬಹುದು, ಏಕೆಂದರೆ ಅವು ಹೇಗಿದ್ದರೂ ಲಾಗಿನ್ ಹಿಂದೆ ಇವೆ.

user agent ಆಧಾರದ ಮೇಲೆ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಬಳಕೆದಾರರಿಗಿಂತ ಬೇರೆ ಪುಟ ನೀಡುವುದನ್ನು ತಪ್ಪಿಸಿ. ಎಲ್ಲರಿಗೂ ಒಂದೇ HTML ರೆಂಡರ್ ಮಾಡುವುದು ನಿರ್ವಹಿಸಲು ಸುಲಭ ಮತ್ತು cloaking ಕುರಿತ ಯಾವುದೇ ಸಂದೇಹವನ್ನು ತಪ್ಪಿಸುತ್ತದೆ.

ಲಾಗಿನ್, ಸಮ್ಮತಿ ಮತ್ತು ಪೇವಾಲ್ ಪರದೆಗಳೂ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆಯುತ್ತವೆಯೇ?

ಹೌದು. ಕ್ರಾಲರ್ ಲಾಗಿನ್ ಆಗುವುದಿಲ್ಲ, ಕುಕೀ ಬ್ಯಾನರ್ ಕ್ಲಿಕ್ ಮಾಡುವುದಿಲ್ಲ ಮತ್ತು ಚಾಲೆಂಜ್‌ಗಳನ್ನು ಪರಿಹರಿಸುವುದಿಲ್ಲ. ತನ್ನ ಬಾಟ್‌ಗಳು CAPTCHA ಗಳನ್ನು ದಾಟಲು ಪ್ರಯತ್ನಿಸುವುದಿಲ್ಲ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. ಸಮ್ಮತಿ ನಿರ್ವಾಹಕವು HTML ನಲ್ಲಿ ಪುಟದ ಬದಲು ಪೂರ್ಣ-ಪರದೆ ಓವರ್‌ಲೇ ಇರಿಸಿದರೆ, ಅಥವಾ ಮೊದಲ ಬಾರಿ ಬರುವವರನ್ನು ಸಮ್ಮತಿ ಪುಟಕ್ಕೆ ರೀಡೈರೆಕ್ಟ್ ಮಾಡಿದರೆ, ಕ್ರಾಲರ್‌ಗೆ ನಿಮ್ಮ ವಿಷಯದ ಬದಲು ಅದೇ ಸಿಗುತ್ತದೆ.

ಸಮ್ಮತಿ ಸ್ಥಿತಿ ಏನೇ ಇರಲಿ, ಸಾರ್ವಜನಿಕ ಪುಟಗಳು ತಮ್ಮ ವಿಷಯವನ್ನು HTML ನಲ್ಲಿ ರೆಂಡರ್ ಮಾಡುತ್ತವೆ ಎಂದು ಖಚಿತಪಡಿಸಿ; ಬ್ಯಾನರ್ ಬದಲಿಯಾಗಿ ಅಲ್ಲ, ಓವರ್‌ಲೇ ಆಗಿ ಇರಲಿ. ಉಲ್ಲೇಖಿಸಲ್ಪಡಬೇಕಾದ ಪುಟಗಳನ್ನು ಲಾಗಿನ್ ಗೋಡೆಗಳ ಹೊರಗೆ ಇರಿಸಿ, ಮತ್ತು ಕ್ರಾಲರ್ ಸೈನ್-ಇನ್ ಪುಟಕ್ಕೆ ರೀಡೈರೆಕ್ಟ್ ಆಗುತ್ತಿಲ್ಲ ಎಂದು ಪರಿಶೀಲಿಸಿ.

JavaScript ನಲ್ಲಿ ಮಾತ್ರ ಇರುವ ಪುಟಗಳನ್ನು AISeeWhy ಹೇಗೆ ಪತ್ತೆ ಮಾಡುತ್ತದೆ?

ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ಸಿಗುವಂತೆಯೇ, ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಚಲಾಯಿಸದೆ, AISeeWhy ಆರಂಭಿಕ HTML ಅನ್ನು ಓದುತ್ತದೆ. ಪುಟದಲ್ಲಿ ಕಾಣುವ ಪಠ್ಯ ಬಹುತೇಕ ಇಲ್ಲದೆ ಫ್ರೇಮ್‌ವರ್ಕ್ root ಎಲಿಮೆಂಟ್ ಮತ್ತು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು ಮಾತ್ರ ಇದ್ದಾಗ, ವಿಷಯಕ್ಕೆ JavaScript ಬೇಕು ಎಂಬ P1 ಪತ್ತೆಯನ್ನು ಅದು ವರದಿ ಮಾಡುತ್ತದೆ. ಬ್ರೌಸರ್‌ಗೆ ಸಿಗುವ ಪುಟದ ಬದಲು ಕ್ರಾಲರ್‌ಗಳನ್ನು ಬೇರೆಡೆ ಕಳುಹಿಸುವ ರೀಡೈರೆಕ್ಟ್‌ಗಳನ್ನೂ ಅದು ಗುರುತಿಸುತ್ತದೆ.

ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

Googlebot JavaScript ರೆಂಡರ್ ಮಾಡುತ್ತದೆಯೇ?

ಹೌದು. Google HTML ಅನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ, ಪುಟಗಳನ್ನು ರೆಂಡರಿಂಗ್‌ಗಾಗಿ ಸರದಿಯಲ್ಲಿ ಇರಿಸುತ್ತದೆ, ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳು ಅನುಮತಿಸಿದಾಗ headless Chromium ಬಳಸಿ ರೆಂಡರ್ ಮಾಡುತ್ತದೆ. ಆದರೂ Google ಸರ್ವರ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್ ಅಥವಾ ಪ್ರೀರೆಂಡರಿಂಗ್ ಅನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ.

ChatGPT, Claude ಮತ್ತು Perplexity ಕ್ರಾಲರ್‌ಗಳು JavaScript ಚಲಾಯಿಸುತ್ತವೆಯೇ?

ಅವುಗಳ ಮಾರಾಟಗಾರರ ಕ್ರಾಲರ್ ದಾಖಲೆಗಳು ಹಾಗೆ ಹೇಳುವುದಿಲ್ಲ. ಮಾರಾಟಗಾರರು ಬೇರೆ ರೀತಿ ಹೇಳುವವರೆಗೆ, ಕ್ರಾಲರ್ ಆರಂಭಿಕ HTML ಅನ್ನು ಓದುತ್ತದೆ ಎಂದು ಭಾವಿಸಿ ನಿಮ್ಮ ವಿಷಯ ಅದರಲ್ಲಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ.

ಬಾಟ್‌ಗಳಿಗಾಗಿ dynamic rendering ಒಳ್ಳೆಯ ಉಪಾಯವೇ?

ತಾತ್ಕಾಲಿಕ ಪರಿಹಾರವಾಗಿ ಅದು ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಆದರೆ ನಿರ್ವಹಿಸಲು ಎರಡನೇ ರೆಂಡರಿಂಗ್ ಮಾರ್ಗವನ್ನು ಸೇರಿಸುತ್ತದೆ. ಸರ್ವರ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್ ಅಥವಾ ಸ್ಥಿರ HTML ಎಲ್ಲರಿಗೂ ಒಂದೇ ವಿಷಯ ನೀಡುತ್ತದೆ ಮತ್ತು ದೀರ್ಘಕಾಲಕ್ಕೆ ಸರಳ ಪರಿಹಾರ ಅದೇ.

JavaScript ಮೂಲಕ ಸೇರಿಸಿದ JSON-LD ಲೆಕ್ಕಕ್ಕೆ ಬರುತ್ತದೆಯೇ?

ರೆಂಡರಿಂಗ್ ನಂತರ Google ಅದನ್ನು ಓದಬಲ್ಲದು, ಆದರೆ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಚಲಾಯಿಸದ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಅದು ಕಾಣುವುದಿಲ್ಲ. JSON-LD ಅನ್ನು ಆರಂಭಿಕ HTML ನಲ್ಲಿ ಇರಿಸಿ.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು