JavaScript రెండర్ చేసే కంటెంట్‌ను AI క్రాలర్‌లు చదవగలవా?

ప్రచురించినది

చిన్న జవాబు

చాలాసార్లు చదవలేవు. Googlebot తర్వాతి దశలో JavaScriptను రెండర్ చేస్తుంది, కానీ చాలా AI క్రాలర్‌లు అలా చేస్తాయని డాక్యుమెంట్ చేయవు, అన్ని బాట్‌లూ JavaScriptను నడపలేవని Google కూడా పేర్కొంటుంది. స్క్రిప్ట్‌లు నడిచిన తర్వాతే మీ టెక్స్ట్ కనిపిస్తే, AI క్రాలర్‌కు ఖాళీ పేజీ అందవచ్చు. సర్వర్-సైడ్ రెండరింగ్ లేదా స్టాటిక్ పేజీలతో ప్రధాన కంటెంట్‌ను ప్రారంభ HTMLలోనే అందించండి.

Single-page యాప్‌లు, క్లయింట్-సైడ్ ఫ్రేమ్‌వర్క్‌లు ఎక్కడ చూసినా ఉన్నాయి, బ్రౌజర్‌లో అవి బాగానే కనిపిస్తాయి. మీ సర్వర్ పంపే HTMLను మాత్రమే చదివే క్రాలర్‌కు వేరేది కనిపిస్తుంది: ఒక <div id="root"></div>, కొన్ని script ట్యాగ్‌లు, అతి తక్కువ టెక్స్ట్ లేదా అసలు టెక్స్ట్ లేకపోవడం. AI జవాబుల కోసం, ఆ పేజీలో కోట్ చేయడానికి ఏమీ ఉండదు.

ఈ పేజీలో
  1. AI క్రాలర్‌లు JavaScript కంటెంట్‌ను ఎందుకు కోల్పోతాయి?
  2. క్రాలర్‌కు ఏమి అందుతుందో ఎలా తనిఖీ చేయాలి?
  3. ఏ పేజీలకు ఎక్కువ ప్రమాదం ఉంది?
  4. JavaScript మాత్రమే ఉన్న కంటెంట్‌ను ఎలా సరిచేయాలి?
  5. లాగిన్, కన్సెంట్, పేవాల్ స్క్రీన్‌లు కూడా AI క్రాలర్‌లను బ్లాక్ చేస్తాయా?
  6. AISeeWhy JavaScript మాత్రమే ఉన్న పేజీలను ఎలా గుర్తిస్తుంది?

AI క్రాలర్‌లు JavaScript కంటెంట్‌ను ఎందుకు కోల్పోతాయి?

JavaScriptను నడపడం ఖరీదైన పని. క్రాలర్ స్క్రిప్ట్‌లను డౌన్‌లోడ్ చేసి, బ్రౌజర్ ఇంజిన్‌లో అమలు చేసి, డేటా లోడ్ అయ్యే వరకు ఆగాలి. Google Search కోసం ఇది చేస్తుంది: అది క్రాల్ చేస్తుంది, పేజీలను రెండరింగ్ కోసం క్యూలో పెడుతుంది, వనరులు అనుమతించినప్పుడు headless Chromiumతో వాటిని రెండర్ చేస్తుంది. అయినా యూజర్‌లకు, క్రాలర్‌లకు వేగంగా ఉంటుంది కాబట్టి Google సర్వర్-సైడ్ రెండరింగ్ లేదా ప్రీరెండరింగ్‌ను సిఫార్సు చేస్తుంది, అన్ని బాట్‌లూ JavaScriptను నడపలేవని పేర్కొంటుంది.

OpenAI, Anthropic, Perplexity తమ ఏజెంట్‌లు JavaScriptను అమలు చేస్తాయని తమ క్రాలర్ డాక్యుమెంటేషన్‌లో చెప్పవు. Applebot పేజీలను బ్రౌజర్‌లో రెండర్ చేయవచ్చని Apple చెబుతుంది. స్పష్టమైన ప్రకటన లేనప్పుడు, AI క్రాలర్‌లు ప్రారంభ HTMLను మాత్రమే చదువుతాయని భావించడం సురక్షితం.

క్రాలర్‌కు ఏమి అందుతుందో ఎలా తనిఖీ చేయాలి?

రెండర్ అయిన పేజీని కాకుండా ముడి HTMLను చూడండి. బ్రౌజర్ డెవలపర్ టూల్స్ స్క్రిప్ట్‌లు నడిచిన తర్వాతి DOMను చూపిస్తాయి, క్రాలర్‌కు అందేది అది కాదు. view-source ఉపయోగించండి, లేదా కమాండ్ లైన్ నుంచి ముడి HTMLను సేవ్ చేసి అందులో వెతకండి:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

ఫలితం 0 అయితే, ఆ వాక్యం సర్వర్ పంపిన HTMLలో లేదు, కాబట్టి స్క్రిప్ట్‌లు నడపని క్రాలర్‌లకు అది దొరకదు. ఫైల్‌ను ఒకసారి చూస్తే మిగతాది తెలుస్తుంది: సర్వర్‌లో రెండర్ అయిన వ్యాసంలో దాని పూర్తి టెక్స్ట్ అక్కడే ఉంటుంది; క్లయింట్-సైడ్ షెల్‌లో ఖాళీ root ఎలిమెంట్, స్క్రిప్ట్‌ల జాబితా ఉంటాయి.

ఏ పేజీలకు ఎక్కువ ప్రమాదం ఉంది?

JavaScript మాత్రమే ఉన్న కంటెంట్‌ను ఎలా సరిచేయాలి?

ముఖ్యమైన కంటెంట్‌ను మొదటి ప్రతిస్పందనలోనే పంపడమే పరిష్కారం. మీ స్టాక్ అనుమతించే అత్యంత తేలికైన ఎంపికను ఎంచుకోండి:

మొత్తం యాప్‌ను ఒకేసారి మార్చాల్సిన అవసరం లేదు. మీరు ఉటంకించబడాలనుకునే పేజీలతో ప్రారంభించండి: వ్యాసాలు, డాక్యుమెంటేషన్, ప్రోడక్ట్, ధరల పేజీలు. ఖాతా విభాగాలు, డాష్‌బోర్డ్‌లు క్లయింట్-సైడ్‌గానే ఉండవచ్చు, ఎందుకంటే అవి ఎలాగూ లాగిన్ వెనుక ఉంటాయి.

యూజర్ ఏజెంట్ ఆధారంగా క్రాలర్‌లకు యూజర్‌ల కంటే వేరే పేజీని అందించకండి. అందరికీ ఒకే HTMLను రెండర్ చేయడం నిర్వహించడానికి సులభం, cloaking అనే ఏ సందేహానికీ తావివ్వదు.

లాగిన్, కన్సెంట్, పేవాల్ స్క్రీన్‌లు కూడా AI క్రాలర్‌లను బ్లాక్ చేస్తాయా?

అవును. క్రాలర్ లాగిన్ అవ్వదు, కుకీ బ్యానర్‌ను క్లిక్ చేయదు, ఛాలెంజ్‌లను పరిష్కరించదు. తన బాట్‌లు CAPTCHAలను దాటవేయడానికి ప్రయత్నించవని Anthropic చెబుతుంది. కన్సెంట్ మేనేజర్ HTMLలో పేజీని ఫుల్-స్క్రీన్ ఓవర్‌లేతో భర్తీ చేస్తే, లేదా మొదటిసారి వచ్చే సందర్శకులను కన్సెంట్ పేజీకి రీడైరెక్ట్ చేస్తే, క్రాలర్‌కు మీ కంటెంట్‌కు బదులు అదే అందుతుంది.

కన్సెంట్ స్థితితో సంబంధం లేకుండా పబ్లిక్ పేజీలు తమ కంటెంట్‌ను HTMLలో రెండర్ చేసేలా చూసుకోండి, బ్యానర్ భర్తీగా కాకుండా ఓవర్‌లేగా ఉండాలి. ఉటంకించబడాలనుకునే పేజీలను లాగిన్ వాల్‌ల బయట ఉంచండి, క్రాలర్ సైన్-ఇన్ పేజీకి రీడైరెక్ట్ కావడం లేదని తనిఖీ చేయండి.

AISeeWhy JavaScript మాత్రమే ఉన్న పేజీలను ఎలా గుర్తిస్తుంది?

AISeeWhy ప్రతి క్రాలర్‌కు అందినట్లుగానే, స్క్రిప్ట్‌లు నడపకుండా, ప్రారంభ HTMLను చదువుతుంది. పేజీలో కనిపించే టెక్స్ట్ దాదాపు లేకుండా, ఫ్రేమ్‌వర్క్ root ఎలిమెంట్, స్క్రిప్ట్‌లు మాత్రమే ఉంటే, కంటెంట్‌కు JavaScript అవసరమని P1 అంశాన్ని రిపోర్ట్ చేస్తుంది. బ్రౌజర్‌కు అందే పేజీ కాకుండా వేరే చోటుకు క్రాలర్‌లను పంపే రీడైరెక్ట్‌లను కూడా ఫ్లాగ్ చేస్తుంది.

ఈ సమస్యకు పరిష్కారాలు

ఉచిత టూల్స్

తదుపరి దశలు

ఈ వ్యాసంలోని క్రాలర్‌లు

తరచుగా అడిగే ప్రశ్నలు

Googlebot JavaScriptను రెండర్ చేస్తుందా?

అవును. Google HTMLను క్రాల్ చేస్తుంది, పేజీలను రెండరింగ్ కోసం క్యూలో పెడుతుంది, వనరులు అనుమతించినప్పుడు headless Chromiumతో వాటిని రెండర్ చేస్తుంది. అయినా Google సర్వర్-సైడ్ రెండరింగ్ లేదా ప్రీరెండరింగ్‌ను సిఫార్సు చేస్తుంది.

ChatGPT, Claude, Perplexity క్రాలర్‌లు JavaScriptను నడుపుతాయా?

వాటి సంస్థల క్రాలర్ డాక్యుమెంటేషన్ అలా చెప్పదు. ఒక సంస్థ వేరేలా చెప్పే వరకు, క్రాలర్ ప్రారంభ HTMLను చదువుతుందని భావించి, మీ కంటెంట్ అందులో ఉండేలా చూసుకోండి.

బాట్‌ల కోసం డైనమిక్ రెండరింగ్ మంచి ఆలోచనేనా?

తాత్కాలిక పరిష్కారంగా పనిచేస్తుంది, కానీ నిర్వహించాల్సిన రెండో రెండరింగ్ మార్గాన్ని జోడిస్తుంది. సర్వర్-సైడ్ రెండరింగ్ లేదా స్టాటిక్ HTML అందరికీ ఒకే కంటెంట్‌ను అందిస్తుంది, దీర్ఘకాలంలో అదే సులభమైన పరిష్కారం.

JavaScript ద్వారా జోడించిన JSON-LD లెక్కలోకి వస్తుందా?

రెండరింగ్ తర్వాత Google దాన్ని చదవగలదు, కానీ స్క్రిప్ట్‌లు నడపని క్రాలర్‌లకు అది కనిపించదు. JSON-LDను ప్రారంభ HTMLలో ఉంచండి.

మూలాలు

మరిన్ని వ్యాసాలు