JavaScript റെൻഡർ ചെയ്യുന്ന ഉള്ളടക്കം AI ക്രോളറുകൾക്ക് വായിക്കാനാകുമോ?
പലപ്പോഴും ഇല്ല. Googlebot പിന്നീടുള്ള ഒരു ഘട്ടത്തിൽ JavaScript റെൻഡർ ചെയ്യുന്നു, പക്ഷേ മിക്ക AI ക്രോളറുകളും അങ്ങനെ ചെയ്യുന്നതായി രേഖപ്പെടുത്തുന്നില്ല, എല്ലാ ബോട്ടുകൾക്കും JavaScript പ്രവർത്തിപ്പിക്കാനാവില്ലെന്ന് Google തന്നെ പറയുന്നു. സ്ക്രിപ്റ്റുകൾ പ്രവർത്തിച്ച ശേഷം മാത്രമാണ് നിങ്ങളുടെ ടെക്സ്റ്റ് വരുന്നതെങ്കിൽ, AI ക്രോളറിന് ശൂന്യമായ പേജ് കിട്ടാം. പ്രധാന ഉള്ളടക്കം സെർവർ-സൈഡ് റെൻഡറിംഗ് അല്ലെങ്കിൽ സ്റ്റാറ്റിക് പേജുകൾ വഴി പ്രാരംഭ HTML-ൽ നൽകുക.
സിംഗിൾ-പേജ് ആപ്പുകളും ക്ലയന്റ്-സൈഡ് ഫ്രെയിംവർക്കുകളും എല്ലായിടത്തുമുണ്ട്, ബ്രൗസറിൽ അവ നന്നായി കാണപ്പെടുന്നു. നിങ്ങളുടെ സെർവർ അയയ്ക്കുന്ന HTML മാത്രം വായിക്കുന്ന ക്രോളർ കാണുന്നത് മറ്റൊന്നാണ്: ഒരു <div id="root"></div>, കുറച്ച് സ്ക്രിപ്റ്റ് ടാഗുകൾ, വളരെ കുറച്ച് ടെക്സ്റ്റ് അല്ലെങ്കിൽ ഒന്നുമില്ല. AI ഉത്തരങ്ങൾക്ക് ആ പേജിൽ ഉദ്ധരിക്കാൻ ഒന്നുമില്ല.
ഈ പേജിൽ
- AI ക്രോളറുകൾക്ക് JavaScript ഉള്ളടക്കം നഷ്ടപ്പെടുന്നത് എന്തുകൊണ്ട്?
- ഒരു ക്രോളറിന് കിട്ടുന്നത് എന്താണെന്ന് എങ്ങനെ പരിശോധിക്കാം?
- ഏത് പേജുകളാണ് ഏറ്റവും അപകടത്തിൽ?
- JavaScript-ൽ മാത്രമുള്ള ഉള്ളടക്കം എങ്ങനെ പരിഹരിക്കാം?
- ലോഗിൻ, സമ്മത, പേവാൾ സ്ക്രീനുകളും AI ക്രോളറുകളെ തടയുമോ?
- JavaScript-ൽ മാത്രമുള്ള പേജുകൾ AISeeWhy എങ്ങനെ കണ്ടെത്തുന്നു?
AI ക്രോളറുകൾക്ക് JavaScript ഉള്ളടക്കം നഷ്ടപ്പെടുന്നത് എന്തുകൊണ്ട്?
JavaScript പ്രവർത്തിപ്പിക്കുന്നത് ചെലവേറിയതാണ്. ക്രോളർ സ്ക്രിപ്റ്റുകൾ ഡൗൺലോഡ് ചെയ്യണം, ഒരു ബ്രൗസർ എഞ്ചിനിൽ അവ പ്രവർത്തിപ്പിക്കണം, ഡാറ്റ ലോഡ് ആകാൻ കാത്തിരിക്കണം. Google ഇത് സെർച്ചിനായി ചെയ്യുന്നു: അത് ക്രോൾ ചെയ്യുന്നു, പേജുകളെ റെൻഡറിംഗിനായി ക്യൂവിൽ വെക്കുന്നു, വിഭവങ്ങൾ അനുവദിക്കുമ്പോൾ headless Chromium ഉപയോഗിച്ച് റെൻഡർ ചെയ്യുന്നു. എന്നിട്ടും Google സെർവർ-സൈഡ് റെൻഡറിംഗോ പ്രീറെൻഡറിംഗോ ശുപാർശ ചെയ്യുന്നു, കാരണം അത് ഉപയോക്താക്കൾക്കും ക്രോളറുകൾക്കും വേഗതയേറിയതാണ്; എല്ലാ ബോട്ടുകൾക്കും JavaScript പ്രവർത്തിപ്പിക്കാനാവില്ലെന്നും അത് പറയുന്നു.
തങ്ങളുടെ ഏജന്റുകൾ JavaScript പ്രവർത്തിപ്പിക്കുന്നുവെന്ന് OpenAI, Anthropic, Perplexity എന്നിവ ക്രോളർ ഡോക്യുമെന്റേഷനിൽ പറയുന്നില്ല. Applebot പേജുകൾ ഒരു ബ്രൗസറിൽ റെൻഡർ ചെയ്തേക്കാമെന്ന് Apple പറയുന്നു. വ്യക്തമായ പ്രസ്താവന ഇല്ലാത്തപ്പോൾ, AI ക്രോളറുകൾ പ്രാരംഭ HTML മാത്രം വായിക്കുന്നു എന്ന് കരുതുന്നതാണ് സുരക്ഷിതം.
ഒരു ക്രോളറിന് കിട്ടുന്നത് എന്താണെന്ന് എങ്ങനെ പരിശോധിക്കാം?
റെൻഡർ ചെയ്ത പേജല്ല, അസംസ്കൃത HTML നോക്കുക. ബ്രൗസറിന്റെ ഡെവലപ്പർ ടൂളുകൾ സ്ക്രിപ്റ്റുകൾ പ്രവർത്തിച്ച ശേഷമുള്ള DOM ആണ് കാണിക്കുന്നത്, ക്രോളറിന് കിട്ടുന്നത് അതല്ല. view-source ഉപയോഗിക്കുക, അല്ലെങ്കിൽ കമാൻഡ് ലൈനിൽ നിന്ന് അസംസ്കൃത HTML സേവ് ചെയ്ത് അതിൽ തിരയുക:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html ഫലം 0 ആണെങ്കിൽ ആ വാക്യം സെർവർ അയച്ച HTML-ൽ ഇല്ല, അതിനാൽ സ്ക്രിപ്റ്റുകൾ പ്രവർത്തിപ്പിക്കാത്ത ക്രോളറുകൾ അത് കണ്ടെത്തില്ല. ഫയൽ ഒന്ന് നോക്കിയാൽ ബാക്കി മനസ്സിലാകും: സെർവറിൽ റെൻഡർ ചെയ്ത ലേഖനത്തിന്റെ മുഴുവൻ ടെക്സ്റ്റും അതിലുണ്ടാകും; ക്ലയന്റ്-സൈഡ് ഷെല്ലിൽ ശൂന്യമായ root എലമെന്റും സ്ക്രിപ്റ്റുകളുടെ പട്ടികയും മാത്രം.
ഏത് പേജുകളാണ് ഏറ്റവും അപകടത്തിൽ?
- React, Vue, Angular അല്ലെങ്കിൽ Svelte ഉപയോഗിച്ച് നിർമ്മിച്ച, എല്ലാം ബ്രൗസറിൽ റെൻഡർ ചെയ്യുന്ന സിംഗിൾ-പേജ് ആപ്പുകൾ.
- ലോഡ് ആയ ശേഷം API-യിൽ നിന്ന് പ്രധാന ടെക്സ്റ്റ് എടുക്കുന്ന പേജുകൾ, ഉദാഹരണത്തിന് ഉൽപ്പന്ന വിശദാംശങ്ങൾ, വിലകൾ, റിവ്യൂകൾ.
- ക്ലിക്ക് ചെയ്യുമ്പോൾ മാത്രം അഭ്യർത്ഥിക്കുന്ന, ടാബുകൾ, അക്കോർഡിയനുകൾ അല്ലെങ്കിൽ "കൂടുതൽ ലോഡ് ചെയ്യുക" വിഭാഗങ്ങൾക്കുള്ളിലെ ഉള്ളടക്കം.
- ക്രോളറിന് കടക്കാനാവാത്ത ലോഗിൻ, പേവാൾ അല്ലെങ്കിൽ സമ്മത മതിലിന് പിന്നിലുള്ള പേജുകൾ.
noindexഅല്ലെങ്കിൽ canonical URL JavaScript വഴി മാത്രം സജ്ജമാക്കുന്ന പേജുകൾ. യഥാർത്ഥ HTML-ൽnoindexകണ്ടാൽ റെൻഡറിംഗ് പൂർണമായി ഒഴിവാക്കിയേക്കാമെന്ന് Google മുന്നറിയിപ്പ് നൽകുന്നു.
JavaScript-ൽ മാത്രമുള്ള ഉള്ളടക്കം എങ്ങനെ പരിഹരിക്കാം?
പ്രധാന ഉള്ളടക്കം ആദ്യ പ്രതികരണത്തിൽ തന്നെ അയയ്ക്കുക എന്നതാണ് പരിഹാരം. നിങ്ങളുടെ സ്റ്റാക്ക് അനുവദിക്കുന്ന ഏറ്റവും ലഘുവായ മാർഗം തിരഞ്ഞെടുക്കുക:
- സെർവർ-സൈഡ് റെൻഡറിംഗ് (SSR): Next.js, Nuxt, SvelteKit, Angular SSR തുടങ്ങിയ ഫ്രെയിംവർക്കുകൾ പേജ് സെർവറിൽ റെൻഡർ ചെയ്ത് ബ്രൗസറിൽ hydrate ചെയ്യുന്നു.
- സ്റ്റാറ്റിക് ജനറേഷൻ അല്ലെങ്കിൽ പ്രീറെൻഡറിംഗ്: ലേഖനങ്ങൾ, ഡോക്യുമെന്റേഷൻ, ലാൻഡിംഗ് പേജുകൾ പോലെ അപൂർവമായി മാറുന്ന പേജുകൾക്ക് ഡിപ്ലോയ് സമയത്ത് HTML നിർമ്മിക്കുക.
- പ്രോഗ്രസീവ് എൻഹാൻസ്മെന്റ്: ടെക്സ്റ്റ്, തലക്കെട്ടുകൾ, ലിങ്കുകൾ, വിലകൾ, JSON-LD എന്നിവ HTML-ൽ വെക്കുക, JavaScript ഇന്ററാക്ഷന് മാത്രം ഉപയോഗിക്കുക.
- പ്രധാനമായത് HTML-ൽ തന്നെ വെക്കുക: ടാബുകൾ ഉള്ളടക്കം മറയ്ക്കുന്നുണ്ടെങ്കിൽ, ക്ലിക്കിൽ എടുക്കുന്നതിന് പകരം അതെല്ലാം HTML-ൽ വെച്ച് CSS അല്ലെങ്കിൽ സ്ക്രിപ്റ്റ് കൊണ്ട് കാണിക്കുകയും മറയ്ക്കുകയും ചെയ്യുക.
ഒരു ആപ്പ് മുഴുവൻ ഒറ്റയടിക്ക് മാറ്റേണ്ടതില്ല. ഉദ്ധരിക്കപ്പെടണമെന്ന് നിങ്ങൾ ആഗ്രഹിക്കുന്ന പേജുകളിൽ നിന്ന് തുടങ്ങുക: ലേഖനങ്ങൾ, ഡോക്യുമെന്റേഷൻ, ഉൽപ്പന്ന, വില പേജുകൾ. അക്കൗണ്ട് ഭാഗങ്ങളും ഡാഷ്ബോർഡുകളും ക്ലയന്റ്-സൈഡ് ആയി തുടരാം, കാരണം അവ എന്തായാലും ലോഗിന് പിന്നിലാണ്.
user agent അടിസ്ഥാനമാക്കി ക്രോളറുകൾക്ക് ഉപയോക്താക്കളിൽ നിന്ന് വ്യത്യസ്തമായ പേജ് നൽകുന്നത് ഒഴിവാക്കുക. എല്ലാവർക്കും ഒരേ HTML റെൻഡർ ചെയ്യുന്നത് പരിപാലിക്കാൻ എളുപ്പമാണ്, cloaking സംബന്ധിച്ച സംശയവും ഒഴിവാക്കുന്നു.
ലോഗിൻ, സമ്മത, പേവാൾ സ്ക്രീനുകളും AI ക്രോളറുകളെ തടയുമോ?
അതെ. ക്രോളർ ലോഗിൻ ചെയ്യുന്നില്ല, കുക്കി ബാനറിൽ ക്ലിക്ക് ചെയ്യുന്നില്ല, ചലഞ്ചുകൾ പരിഹരിക്കുന്നില്ല. തങ്ങളുടെ ബോട്ടുകൾ CAPTCHA മറികടക്കാൻ ശ്രമിക്കില്ലെന്ന് Anthropic പറയുന്നു. ഒരു സമ്മത മാനേജർ HTML-ൽ പേജിന് പകരം ഫുൾ-സ്ക്രീൻ ഓവർലേ വെക്കുകയോ ആദ്യമായി വരുന്നവരെ സമ്മത പേജിലേക്ക് റീഡയറക്ട് ചെയ്യുകയോ ചെയ്താൽ, ക്രോളറിന് നിങ്ങളുടെ ഉള്ളടക്കത്തിന് പകരം അതാണ് കിട്ടുന്നത്.
സമ്മത നില എന്തായാലും പൊതു പേജുകൾ അവയുടെ ഉള്ളടക്കം HTML-ൽ റെൻഡർ ചെയ്യുന്നുവെന്ന് ഉറപ്പാക്കുക, ബാനർ പകരക്കാരനല്ല, ഓവർലേ ആയിരിക്കണം. ഉദ്ധരിക്കപ്പെടണമെന്ന് ആഗ്രഹിക്കുന്ന പേജുകൾ ലോഗിൻ മതിലുകൾക്ക് പുറത്ത് സൂക്ഷിക്കുക, ക്രോളർ സൈൻ-ഇൻ പേജിലേക്ക് റീഡയറക്ട് ചെയ്യപ്പെടുന്നില്ലെന്ന് പരിശോധിക്കുക.
JavaScript-ൽ മാത്രമുള്ള പേജുകൾ AISeeWhy എങ്ങനെ കണ്ടെത്തുന്നു?
ഓരോ ക്രോളറിനും കിട്ടുന്നതുപോലെ, സ്ക്രിപ്റ്റുകൾ പ്രവർത്തിപ്പിക്കാതെ, AISeeWhy പ്രാരംഭ HTML വായിക്കുന്നു. ഒരു പേജിൽ കാണാവുന്ന ടെക്സ്റ്റ് മിക്കവാറും ഇല്ലാതെ ഒരു ഫ്രെയിംവർക്ക് root എലമെന്റും സ്ക്രിപ്റ്റുകളും മാത്രമുള്ളപ്പോൾ, ഉള്ളടക്കത്തിന് JavaScript വേണം എന്ന P1 കണ്ടെത്തൽ അത് റിപ്പോർട്ട് ചെയ്യുന്നു. ബ്രൗസറിന് കിട്ടുന്ന പേജിന് പകരം ക്രോളറുകളെ മറ്റെവിടേക്കെങ്കിലും അയയ്ക്കുന്ന റീഡയറക്ടുകളും അത് ചൂണ്ടിക്കാണിക്കുന്നു.
ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ
- AI ഏജന്റുകൾക്കായി Markdown പതിപ്പില്ല
- പേജ് ഉള്ളടക്കത്തിന് JavaScript വേണം
- മാർക്കപ്പിൽ വിലയുണ്ട്, പേജ് ടെക്സ്റ്റിൽ ഇല്ല
- മാർക്കപ്പിലെ റേറ്റിങ്ങുകൾ പേജ് കാണിക്കുന്നില്ല
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
Googlebot JavaScript റെൻഡർ ചെയ്യുമോ?
അതെ. Google HTML ക്രോൾ ചെയ്യുന്നു, പേജുകളെ റെൻഡറിംഗിനായി ക്യൂവിൽ വെക്കുന്നു, വിഭവങ്ങൾ അനുവദിക്കുമ്പോൾ headless Chromium ഉപയോഗിച്ച് റെൻഡർ ചെയ്യുന്നു. എന്നിട്ടും Google സെർവർ-സൈഡ് റെൻഡറിംഗോ പ്രീറെൻഡറിംഗോ ശുപാർശ ചെയ്യുന്നു.
ChatGPT, Claude, Perplexity ക്രോളറുകൾ JavaScript പ്രവർത്തിപ്പിക്കുമോ?
അവയുടെ വെണ്ടർമാരുടെ ക്രോളർ ഡോക്യുമെന്റേഷൻ അങ്ങനെ പറയുന്നില്ല. ഒരു വെണ്ടർ മറിച്ച് പറയുന്നതുവരെ, ക്രോളർ പ്രാരംഭ HTML വായിക്കുന്നു എന്ന് കരുതി നിങ്ങളുടെ ഉള്ളടക്കം അതിലുണ്ടെന്ന് ഉറപ്പാക്കുക.
ബോട്ടുകൾക്കായി dynamic rendering നല്ല ആശയമാണോ?
താൽക്കാലിക പരിഹാരമായി അത് പ്രവർത്തിക്കും, പക്ഷേ പരിപാലിക്കാൻ രണ്ടാമതൊരു റെൻഡറിംഗ് വഴി കൂടി ചേർക്കുന്നു. സെർവർ-സൈഡ് റെൻഡറിംഗോ സ്റ്റാറ്റിക് HTML-ഓ എല്ലാവർക്കും ഒരേ ഉള്ളടക്കം നൽകുന്നു, ദീർഘകാലത്തേക്ക് ലളിതമായ പരിഹാരം അതാണ്.
JavaScript വഴി ചേർത്ത JSON-LD കണക്കിലെടുക്കപ്പെടുമോ?
റെൻഡറിംഗിന് ശേഷം Google-ന് അത് വായിക്കാനാകും, പക്ഷേ സ്ക്രിപ്റ്റുകൾ പ്രവർത്തിപ്പിക്കാത്ത ക്രോളറുകൾ അത് കാണില്ല. JSON-LD പ്രാരംഭ HTML-ൽ വെക്കുക.
ഉറവിടങ്ങൾ
- Google Search Central: JavaScript SEO അടിസ്ഥാനങ്ങൾ
- Apple: Applebot-നെക്കുറിച്ച്
- OpenAI: OpenAI ക്രോളറുകളുടെ അവലോകനം
- Anthropic: Anthropic വെബിൽ നിന്ന് ഡാറ്റ ക്രോൾ ചെയ്യുന്നുണ്ടോ, സൈറ്റ് ഉടമകൾക്ക് ക്രോളറിനെ എങ്ങനെ തടയാം?
- Perplexity: Perplexity ക്രോളറുകൾ