JavaScript மூலம் render ஆகும் உள்ளடக்கத்தை AI கிராலர்கள் படிக்குமா?

வெளியிடப்பட்டது

சுருக்கமான பதில்

பெரும்பாலும் இல்லை. Googlebot பிந்தைய கட்டத்தில் JavaScript-ஐ render செய்கிறது, ஆனால் பெரும்பாலான AI கிராலர்கள் அப்படிச் செய்வதாக ஆவணப்படுத்தவில்லை; எல்லா பாட்களும் JavaScript-ஐ இயக்க முடியாது என்று Google-ஏ குறிப்பிடுகிறது. Scripts இயங்கிய பிறகே உங்கள் உரை தோன்றினால், AI கிராலருக்கு வெற்றுப் பக்கம் கிடைக்கலாம். Server-side rendering அல்லது static பக்கங்கள் மூலம் முக்கிய உள்ளடக்கத்தைத் தொடக்க HTML-இலேயே வழங்குங்கள்.

Single-page ஆப்களும் client-side frameworks-உம் எங்கும் உள்ளன, உலாவியில் அவை நன்றாகவே தெரிகின்றன. உங்கள் சர்வர் அனுப்பும் HTML-ஐ மட்டுமே படிக்கும் கிராலர் வேறு ஒன்றைப் பார்க்கிறது: ஒரு <div id="root"></div>, சில script tags, மிகக் குறைந்த அல்லது எந்த உரையும் இல்லை. AI பதில்களுக்கு, அந்தப் பக்கத்தில் மேற்கோள் காட்ட எதுவும் இல்லை.

இந்தப் பக்கத்தில்
  1. AI கிராலர்கள் JavaScript உள்ளடக்கத்தை ஏன் தவறவிடுகின்றன?
  2. ஒரு கிராலர் என்ன பெறுகிறது என்பதை எப்படிச் சரிபார்ப்பது?
  3. எந்தப் பக்கங்களுக்கு அதிக ஆபத்து?
  4. JavaScript-ஐ மட்டுமே சார்ந்த உள்ளடக்கத்தை எப்படிச் சரிசெய்வது?
  5. Login, consent, paywall திரைகளும் AI கிராலர்களைத் தடுக்குமா?
  6. JavaScript-ஐ மட்டுமே சார்ந்த பக்கங்களை AISeeWhy எப்படிக் கண்டறிகிறது?

AI கிராலர்கள் JavaScript உள்ளடக்கத்தை ஏன் தவறவிடுகின்றன?

JavaScript-ஐ இயக்குவது செலவு மிகுந்தது. கிராலர் scripts-ஐப் பதிவிறக்கி, ஒரு browser engine-இல் இயக்கி, தரவு ஏற்றப்படும் வரை காத்திருக்க வேண்டும். Search-க்காக Google இதைச் செய்கிறது: அது கிரால் செய்து, rendering-க்காகப் பக்கங்களை வரிசைப்படுத்தி, வளங்கள் அனுமதிக்கும்போது headless Chromium மூலம் render செய்கிறது. இருந்தாலும், பயனர்களுக்கும் கிராலர்களுக்கும் வேகமானது என்பதால் Google server-side rendering அல்லது prerendering-ஐப் பரிந்துரைக்கிறது, எல்லா பாட்களும் JavaScript-ஐ இயக்க முடியாது என்றும் குறிப்பிடுகிறது.

OpenAI, Anthropic, Perplexity ஆகியவை தங்கள் ஏஜென்ட்கள் JavaScript-ஐ இயக்குவதாகத் தங்கள் கிராலர் ஆவணங்களில் கூறவில்லை. Applebot பக்கங்களை உலாவியில் render செய்யலாம் என்று Apple கூறுகிறது. தெளிவான கூற்று இல்லாத நிலையில், AI கிராலர்கள் தொடக்க HTML-ஐ மட்டுமே படிக்கின்றன என்று கருதுவதே பாதுகாப்பானது.

ஒரு கிராலர் என்ன பெறுகிறது என்பதை எப்படிச் சரிபார்ப்பது?

Render ஆன பக்கத்தை அல்ல, மூல HTML-ஐப் பாருங்கள். உலாவி developer tools scripts இயங்கிய பிறகான DOM-ஐக் காட்டுகின்றன, அது கிராலர் பெறுவது அல்ல. view-source-ஐப் பயன்படுத்துங்கள், அல்லது command line-இலிருந்து மூல HTML-ஐச் சேமித்து அதில் தேடுங்கள்:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

முடிவு 0 என்றால், அந்த வாக்கியம் சர்வர் அனுப்பிய HTML-இல் இல்லை; எனவே scripts இயக்காத கிராலர்கள் அதைக் காணாது. கோப்பை விரைவாகப் பார்த்தாலே மீதி தெரியும்: சர்வரில் render ஆன கட்டுரையில் அதன் முழு உரையும் அங்கே இருக்கும்; client-side shell-இல் வெற்று root உறுப்பும் scripts பட்டியலும் இருக்கும்.

எந்தப் பக்கங்களுக்கு அதிக ஆபத்து?

JavaScript-ஐ மட்டுமே சார்ந்த உள்ளடக்கத்தை எப்படிச் சரிசெய்வது?

முக்கியமான உள்ளடக்கத்தை முதல் பதிலிலேயே அனுப்புவதே தீர்வு. உங்கள் stack அனுமதிக்கும் மிக எளிய வழியைத் தேர்ந்தெடுங்கள்:

முழு ஆப்பையும் ஒரே நேரத்தில் மாற்ற வேண்டியதில்லை. நீங்கள் மேற்கோள் காட்டப்பட விரும்பும் பக்கங்களிலிருந்து தொடங்குங்கள்: கட்டுரைகள், ஆவணங்கள், தயாரிப்பு மற்றும் விலைப் பக்கங்கள். கணக்குப் பகுதிகளும் dashboards-உம் client-side-ஆகவே இருக்கலாம், ஏனெனில் அவை எப்படியும் login-க்குப் பின்னால் உள்ளன.

User agent-ஐப் பொறுத்துக் கிராலர்களுக்குப் பயனர்களிடமிருந்து வேறுபட்ட பக்கத்தை வழங்குவதைத் தவிருங்கள். எல்லோருக்கும் ஒரே HTML-ஐ render செய்வது பராமரிக்க எளிது, cloaking பற்றிய எந்தச் சந்தேகத்தையும் தவிர்க்கிறது.

Login, consent, paywall திரைகளும் AI கிராலர்களைத் தடுக்குமா?

ஆம். கிராலர் login செய்வதில்லை, cookie banner-ஐ click செய்வதில்லை, challenges-ஐத் தீர்ப்பதில்லை. தன் பாட்கள் CAPTCHA-க்களைக் கடக்க முயலாது என்று Anthropic கூறுகிறது. ஒரு consent manager HTML-இல் பக்கத்தை முழுத்திரை overlay-ஆல் மாற்றினால், அல்லது முதல் முறை வருபவர்களை consent பக்கத்துக்குத் திருப்பிவிட்டால், கிராலர் உங்கள் உள்ளடக்கத்துக்குப் பதிலாக அதையே பெறுகிறது.

Consent நிலை எதுவாக இருந்தாலும் பொதுப் பக்கங்கள் தங்கள் உள்ளடக்கத்தை HTML-இல் render செய்வதை உறுதிசெய்யுங்கள்; banner மாற்றாக அல்லாமல் overlay-ஆக இருக்கட்டும். மேற்கோள் காட்டப்பட விரும்பும் பக்கங்களை login சுவர்களுக்கு வெளியே வைத்து, கிராலர் sign-in பக்கத்துக்குத் திருப்பிவிடப்படவில்லை என்று சரிபாருங்கள்.

JavaScript-ஐ மட்டுமே சார்ந்த பக்கங்களை AISeeWhy எப்படிக் கண்டறிகிறது?

AISeeWhy ஒவ்வொரு கிராலரும் பெறுவது போலவே, scripts-ஐ இயக்காமல் தொடக்க HTML-ஐப் படிக்கிறது. ஒரு பக்கத்தில் தெரியும் உரை கிட்டத்தட்ட இல்லாமல் framework root உறுப்பும் scripts-உம் மட்டும் இருந்தால், உள்ளடக்கத்துக்கு JavaScript தேவை என்ற P1 கண்டறிதலைப் புகாரளிக்கிறது. உலாவி பெறும் பக்கத்தைத் தவிர வேறு இடத்துக்குக் கிராலர்களை அனுப்பும் redirects-ஐயும் அது சுட்டிக்காட்டுகிறது.

இந்தச் சிக்கலுக்கான திருத்தங்கள்

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

Googlebot JavaScript-ஐ render செய்கிறதா?

ஆம். Google HTML-ஐக் கிரால் செய்து, rendering-க்காகப் பக்கங்களை வரிசைப்படுத்தி, வளங்கள் அனுமதிக்கும்போது headless Chromium மூலம் render செய்கிறது. இருந்தாலும் Google server-side rendering அல்லது prerendering-ஐயே பரிந்துரைக்கிறது.

ChatGPT, Claude, Perplexity கிராலர்கள் JavaScript-ஐ இயக்குகின்றனவா?

அவற்றின் நிறுவனங்களின் கிராலர் ஆவணங்கள் அப்படிக் கூறவில்லை. ஒரு நிறுவனம் வேறுவிதமாகக் கூறும் வரை, கிராலர் தொடக்க HTML-ஐப் படிக்கிறது என்று கருதி, உங்கள் உள்ளடக்கம் அதில் இருப்பதை உறுதிசெய்யுங்கள்.

பாட்களுக்கான dynamic rendering நல்ல யோசனையா?

தற்காலிகத் தீர்வாக அது வேலை செய்கிறது, ஆனால் பராமரிக்க இரண்டாவது rendering பாதையைச் சேர்க்கிறது. Server-side rendering அல்லது static HTML எல்லோருக்கும் ஒரே உள்ளடக்கத்தை வழங்குகிறது, நீண்ட காலத்துக்கு எளிய தீர்வு அதுவே.

JavaScript மூலம் சேர்க்கப்படும் JSON-LD கணக்கில் கொள்ளப்படுமா?

Rendering-க்குப் பிறகு Google அதைப் படிக்க முடியும், ஆனால் scripts இயக்காத கிராலர்கள் அதைப் பார்க்காது. JSON-LD-ஐத் தொடக்க HTML-இல் வையுங்கள்.

மூலங்கள்

மேலும் கட்டுரைகள்