JavaScript மூலம் render ஆகும் உள்ளடக்கத்தை AI கிராலர்கள் படிக்குமா?
பெரும்பாலும் இல்லை. Googlebot பிந்தைய கட்டத்தில் JavaScript-ஐ render செய்கிறது, ஆனால் பெரும்பாலான AI கிராலர்கள் அப்படிச் செய்வதாக ஆவணப்படுத்தவில்லை; எல்லா பாட்களும் JavaScript-ஐ இயக்க முடியாது என்று Google-ஏ குறிப்பிடுகிறது. Scripts இயங்கிய பிறகே உங்கள் உரை தோன்றினால், AI கிராலருக்கு வெற்றுப் பக்கம் கிடைக்கலாம். Server-side rendering அல்லது static பக்கங்கள் மூலம் முக்கிய உள்ளடக்கத்தைத் தொடக்க HTML-இலேயே வழங்குங்கள்.
Single-page ஆப்களும் client-side frameworks-உம் எங்கும் உள்ளன, உலாவியில் அவை நன்றாகவே தெரிகின்றன. உங்கள் சர்வர் அனுப்பும் HTML-ஐ மட்டுமே படிக்கும் கிராலர் வேறு ஒன்றைப் பார்க்கிறது: ஒரு <div id="root"></div>, சில script tags, மிகக் குறைந்த அல்லது எந்த உரையும் இல்லை. AI பதில்களுக்கு, அந்தப் பக்கத்தில் மேற்கோள் காட்ட எதுவும் இல்லை.
இந்தப் பக்கத்தில்
- AI கிராலர்கள் JavaScript உள்ளடக்கத்தை ஏன் தவறவிடுகின்றன?
- ஒரு கிராலர் என்ன பெறுகிறது என்பதை எப்படிச் சரிபார்ப்பது?
- எந்தப் பக்கங்களுக்கு அதிக ஆபத்து?
- JavaScript-ஐ மட்டுமே சார்ந்த உள்ளடக்கத்தை எப்படிச் சரிசெய்வது?
- Login, consent, paywall திரைகளும் AI கிராலர்களைத் தடுக்குமா?
- JavaScript-ஐ மட்டுமே சார்ந்த பக்கங்களை AISeeWhy எப்படிக் கண்டறிகிறது?
AI கிராலர்கள் JavaScript உள்ளடக்கத்தை ஏன் தவறவிடுகின்றன?
JavaScript-ஐ இயக்குவது செலவு மிகுந்தது. கிராலர் scripts-ஐப் பதிவிறக்கி, ஒரு browser engine-இல் இயக்கி, தரவு ஏற்றப்படும் வரை காத்திருக்க வேண்டும். Search-க்காக Google இதைச் செய்கிறது: அது கிரால் செய்து, rendering-க்காகப் பக்கங்களை வரிசைப்படுத்தி, வளங்கள் அனுமதிக்கும்போது headless Chromium மூலம் render செய்கிறது. இருந்தாலும், பயனர்களுக்கும் கிராலர்களுக்கும் வேகமானது என்பதால் Google server-side rendering அல்லது prerendering-ஐப் பரிந்துரைக்கிறது, எல்லா பாட்களும் JavaScript-ஐ இயக்க முடியாது என்றும் குறிப்பிடுகிறது.
OpenAI, Anthropic, Perplexity ஆகியவை தங்கள் ஏஜென்ட்கள் JavaScript-ஐ இயக்குவதாகத் தங்கள் கிராலர் ஆவணங்களில் கூறவில்லை. Applebot பக்கங்களை உலாவியில் render செய்யலாம் என்று Apple கூறுகிறது. தெளிவான கூற்று இல்லாத நிலையில், AI கிராலர்கள் தொடக்க HTML-ஐ மட்டுமே படிக்கின்றன என்று கருதுவதே பாதுகாப்பானது.
ஒரு கிராலர் என்ன பெறுகிறது என்பதை எப்படிச் சரிபார்ப்பது?
Render ஆன பக்கத்தை அல்ல, மூல HTML-ஐப் பாருங்கள். உலாவி developer tools scripts இயங்கிய பிறகான DOM-ஐக் காட்டுகின்றன, அது கிராலர் பெறுவது அல்ல. view-source-ஐப் பயன்படுத்துங்கள், அல்லது command line-இலிருந்து மூல HTML-ஐச் சேமித்து அதில் தேடுங்கள்:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html முடிவு 0 என்றால், அந்த வாக்கியம் சர்வர் அனுப்பிய HTML-இல் இல்லை; எனவே scripts இயக்காத கிராலர்கள் அதைக் காணாது. கோப்பை விரைவாகப் பார்த்தாலே மீதி தெரியும்: சர்வரில் render ஆன கட்டுரையில் அதன் முழு உரையும் அங்கே இருக்கும்; client-side shell-இல் வெற்று root உறுப்பும் scripts பட்டியலும் இருக்கும்.
எந்தப் பக்கங்களுக்கு அதிக ஆபத்து?
- எல்லாவற்றையும் உலாவியில் render செய்யும் React, Vue, Angular அல்லது Svelte மூலம் உருவாக்கப்பட்ட single-page ஆப்கள்.
- தயாரிப்பு விவரங்கள், விலைகள், மதிப்புரைகள் போல, ஏற்றப்பட்ட பிறகு API-இலிருந்து முக்கிய உரையைப் பெறும் பக்கங்கள்.
- Click செய்யும்போது மட்டுமே கோரப்படும் tabs, accordions அல்லது "load more" பிரிவுகளுக்குள் உள்ள உள்ளடக்கம்.
- கிராலர் கடக்க முடியாத login, paywall அல்லது consent wall-க்குப் பின்னால் உள்ள பக்கங்கள்.
noindexஅல்லது canonical URL-ஐ JavaScript மூலம் மட்டுமே அமைக்கும் பக்கங்கள். மூல HTML-இல்noindex-ஐப் பார்த்தால் rendering-ஐ முழுவதுமாகத் தவிர்க்கலாம் என்று Google எச்சரிக்கிறது.
JavaScript-ஐ மட்டுமே சார்ந்த உள்ளடக்கத்தை எப்படிச் சரிசெய்வது?
முக்கியமான உள்ளடக்கத்தை முதல் பதிலிலேயே அனுப்புவதே தீர்வு. உங்கள் stack அனுமதிக்கும் மிக எளிய வழியைத் தேர்ந்தெடுங்கள்:
- Server-side rendering (SSR): Next.js, Nuxt, SvelteKit, Angular SSR போன்ற frameworks பக்கத்தைச் சர்வரில் render செய்து உலாவியில் hydrate செய்கின்றன.
- Static generation அல்லது prerendering: கட்டுரைகள், ஆவணங்கள், landing பக்கங்கள் போல அரிதாக மாறும் பக்கங்களுக்கு deploy நேரத்தில் HTML-ஐ உருவாக்குங்கள்.
- Progressive enhancement: உரை, தலைப்புகள், இணைப்புகள், விலைகள், JSON-LD ஆகியவற்றை HTML-இல் வைத்து, JavaScript-ஐ ஊடாடலுக்கு மட்டுமே பயன்படுத்துங்கள்.
- முக்கியமானதை inline செய்யுங்கள்: tabs உள்ளடக்கத்தை மறைத்தால், click செய்யும்போது பெறுவதற்குப் பதிலாக அனைத்தையும் HTML-இல் வைத்து, CSS அல்லது script மூலம் தெரிவுநிலையை மாற்றுங்கள்.
முழு ஆப்பையும் ஒரே நேரத்தில் மாற்ற வேண்டியதில்லை. நீங்கள் மேற்கோள் காட்டப்பட விரும்பும் பக்கங்களிலிருந்து தொடங்குங்கள்: கட்டுரைகள், ஆவணங்கள், தயாரிப்பு மற்றும் விலைப் பக்கங்கள். கணக்குப் பகுதிகளும் dashboards-உம் client-side-ஆகவே இருக்கலாம், ஏனெனில் அவை எப்படியும் login-க்குப் பின்னால் உள்ளன.
User agent-ஐப் பொறுத்துக் கிராலர்களுக்குப் பயனர்களிடமிருந்து வேறுபட்ட பக்கத்தை வழங்குவதைத் தவிருங்கள். எல்லோருக்கும் ஒரே HTML-ஐ render செய்வது பராமரிக்க எளிது, cloaking பற்றிய எந்தச் சந்தேகத்தையும் தவிர்க்கிறது.
Login, consent, paywall திரைகளும் AI கிராலர்களைத் தடுக்குமா?
ஆம். கிராலர் login செய்வதில்லை, cookie banner-ஐ click செய்வதில்லை, challenges-ஐத் தீர்ப்பதில்லை. தன் பாட்கள் CAPTCHA-க்களைக் கடக்க முயலாது என்று Anthropic கூறுகிறது. ஒரு consent manager HTML-இல் பக்கத்தை முழுத்திரை overlay-ஆல் மாற்றினால், அல்லது முதல் முறை வருபவர்களை consent பக்கத்துக்குத் திருப்பிவிட்டால், கிராலர் உங்கள் உள்ளடக்கத்துக்குப் பதிலாக அதையே பெறுகிறது.
Consent நிலை எதுவாக இருந்தாலும் பொதுப் பக்கங்கள் தங்கள் உள்ளடக்கத்தை HTML-இல் render செய்வதை உறுதிசெய்யுங்கள்; banner மாற்றாக அல்லாமல் overlay-ஆக இருக்கட்டும். மேற்கோள் காட்டப்பட விரும்பும் பக்கங்களை login சுவர்களுக்கு வெளியே வைத்து, கிராலர் sign-in பக்கத்துக்குத் திருப்பிவிடப்படவில்லை என்று சரிபாருங்கள்.
JavaScript-ஐ மட்டுமே சார்ந்த பக்கங்களை AISeeWhy எப்படிக் கண்டறிகிறது?
AISeeWhy ஒவ்வொரு கிராலரும் பெறுவது போலவே, scripts-ஐ இயக்காமல் தொடக்க HTML-ஐப் படிக்கிறது. ஒரு பக்கத்தில் தெரியும் உரை கிட்டத்தட்ட இல்லாமல் framework root உறுப்பும் scripts-உம் மட்டும் இருந்தால், உள்ளடக்கத்துக்கு JavaScript தேவை என்ற P1 கண்டறிதலைப் புகாரளிக்கிறது. உலாவி பெறும் பக்கத்தைத் தவிர வேறு இடத்துக்குக் கிராலர்களை அனுப்பும் redirects-ஐயும் அது சுட்டிக்காட்டுகிறது.
இந்தச் சிக்கலுக்கான திருத்தங்கள்
- AI ஏஜென்ட்களுக்கான Markdown பதிப்பு இல்லை
- பக்க உள்ளடக்கத்துக்கு JavaScript தேவை
- மார்க்அப்பில் விலை உள்ளது, பக்க உரையில் இல்லை
- மார்க்அப்பில் உள்ள மதிப்பீடுகளைப் பக்கம் காட்டவில்லை
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
Googlebot JavaScript-ஐ render செய்கிறதா?
ஆம். Google HTML-ஐக் கிரால் செய்து, rendering-க்காகப் பக்கங்களை வரிசைப்படுத்தி, வளங்கள் அனுமதிக்கும்போது headless Chromium மூலம் render செய்கிறது. இருந்தாலும் Google server-side rendering அல்லது prerendering-ஐயே பரிந்துரைக்கிறது.
ChatGPT, Claude, Perplexity கிராலர்கள் JavaScript-ஐ இயக்குகின்றனவா?
அவற்றின் நிறுவனங்களின் கிராலர் ஆவணங்கள் அப்படிக் கூறவில்லை. ஒரு நிறுவனம் வேறுவிதமாகக் கூறும் வரை, கிராலர் தொடக்க HTML-ஐப் படிக்கிறது என்று கருதி, உங்கள் உள்ளடக்கம் அதில் இருப்பதை உறுதிசெய்யுங்கள்.
பாட்களுக்கான dynamic rendering நல்ல யோசனையா?
தற்காலிகத் தீர்வாக அது வேலை செய்கிறது, ஆனால் பராமரிக்க இரண்டாவது rendering பாதையைச் சேர்க்கிறது. Server-side rendering அல்லது static HTML எல்லோருக்கும் ஒரே உள்ளடக்கத்தை வழங்குகிறது, நீண்ட காலத்துக்கு எளிய தீர்வு அதுவே.
JavaScript மூலம் சேர்க்கப்படும் JSON-LD கணக்கில் கொள்ளப்படுமா?
Rendering-க்குப் பிறகு Google அதைப் படிக்க முடியும், ஆனால் scripts இயக்காத கிராலர்கள் அதைப் பார்க்காது. JSON-LD-ஐத் தொடக்க HTML-இல் வையுங்கள்.
மூலங்கள்
- Google Search Central: JavaScript SEO அடிப்படைகள்
- Apple: Applebot பற்றி
- OpenAI: OpenAI கிராலர்களின் கண்ணோட்டம்
- Anthropic: Anthropic வலையிலிருந்து தரவைக் கிரால் செய்கிறதா, தள உரிமையாளர்கள் கிராலரை எப்படித் தடுக்கலாம்?
- Perplexity: Perplexity கிராலர்கள்