JavaScript రెండర్ చేసే కంటెంట్ను AI క్రాలర్లు చదవగలవా?
చాలాసార్లు చదవలేవు. Googlebot తర్వాతి దశలో JavaScriptను రెండర్ చేస్తుంది, కానీ చాలా AI క్రాలర్లు అలా చేస్తాయని డాక్యుమెంట్ చేయవు, అన్ని బాట్లూ JavaScriptను నడపలేవని Google కూడా పేర్కొంటుంది. స్క్రిప్ట్లు నడిచిన తర్వాతే మీ టెక్స్ట్ కనిపిస్తే, AI క్రాలర్కు ఖాళీ పేజీ అందవచ్చు. సర్వర్-సైడ్ రెండరింగ్ లేదా స్టాటిక్ పేజీలతో ప్రధాన కంటెంట్ను ప్రారంభ HTMLలోనే అందించండి.
Single-page యాప్లు, క్లయింట్-సైడ్ ఫ్రేమ్వర్క్లు ఎక్కడ చూసినా ఉన్నాయి, బ్రౌజర్లో అవి బాగానే కనిపిస్తాయి. మీ సర్వర్ పంపే HTMLను మాత్రమే చదివే క్రాలర్కు వేరేది కనిపిస్తుంది: ఒక <div id="root"></div>, కొన్ని script ట్యాగ్లు, అతి తక్కువ టెక్స్ట్ లేదా అసలు టెక్స్ట్ లేకపోవడం. AI జవాబుల కోసం, ఆ పేజీలో కోట్ చేయడానికి ఏమీ ఉండదు.
ఈ పేజీలో
- AI క్రాలర్లు JavaScript కంటెంట్ను ఎందుకు కోల్పోతాయి?
- క్రాలర్కు ఏమి అందుతుందో ఎలా తనిఖీ చేయాలి?
- ఏ పేజీలకు ఎక్కువ ప్రమాదం ఉంది?
- JavaScript మాత్రమే ఉన్న కంటెంట్ను ఎలా సరిచేయాలి?
- లాగిన్, కన్సెంట్, పేవాల్ స్క్రీన్లు కూడా AI క్రాలర్లను బ్లాక్ చేస్తాయా?
- AISeeWhy JavaScript మాత్రమే ఉన్న పేజీలను ఎలా గుర్తిస్తుంది?
AI క్రాలర్లు JavaScript కంటెంట్ను ఎందుకు కోల్పోతాయి?
JavaScriptను నడపడం ఖరీదైన పని. క్రాలర్ స్క్రిప్ట్లను డౌన్లోడ్ చేసి, బ్రౌజర్ ఇంజిన్లో అమలు చేసి, డేటా లోడ్ అయ్యే వరకు ఆగాలి. Google Search కోసం ఇది చేస్తుంది: అది క్రాల్ చేస్తుంది, పేజీలను రెండరింగ్ కోసం క్యూలో పెడుతుంది, వనరులు అనుమతించినప్పుడు headless Chromiumతో వాటిని రెండర్ చేస్తుంది. అయినా యూజర్లకు, క్రాలర్లకు వేగంగా ఉంటుంది కాబట్టి Google సర్వర్-సైడ్ రెండరింగ్ లేదా ప్రీరెండరింగ్ను సిఫార్సు చేస్తుంది, అన్ని బాట్లూ JavaScriptను నడపలేవని పేర్కొంటుంది.
OpenAI, Anthropic, Perplexity తమ ఏజెంట్లు JavaScriptను అమలు చేస్తాయని తమ క్రాలర్ డాక్యుమెంటేషన్లో చెప్పవు. Applebot పేజీలను బ్రౌజర్లో రెండర్ చేయవచ్చని Apple చెబుతుంది. స్పష్టమైన ప్రకటన లేనప్పుడు, AI క్రాలర్లు ప్రారంభ HTMLను మాత్రమే చదువుతాయని భావించడం సురక్షితం.
క్రాలర్కు ఏమి అందుతుందో ఎలా తనిఖీ చేయాలి?
రెండర్ అయిన పేజీని కాకుండా ముడి HTMLను చూడండి. బ్రౌజర్ డెవలపర్ టూల్స్ స్క్రిప్ట్లు నడిచిన తర్వాతి DOMను చూపిస్తాయి, క్రాలర్కు అందేది అది కాదు. view-source ఉపయోగించండి, లేదా కమాండ్ లైన్ నుంచి ముడి HTMLను సేవ్ చేసి అందులో వెతకండి:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html ఫలితం 0 అయితే, ఆ వాక్యం సర్వర్ పంపిన HTMLలో లేదు, కాబట్టి స్క్రిప్ట్లు నడపని క్రాలర్లకు అది దొరకదు. ఫైల్ను ఒకసారి చూస్తే మిగతాది తెలుస్తుంది: సర్వర్లో రెండర్ అయిన వ్యాసంలో దాని పూర్తి టెక్స్ట్ అక్కడే ఉంటుంది; క్లయింట్-సైడ్ షెల్లో ఖాళీ root ఎలిమెంట్, స్క్రిప్ట్ల జాబితా ఉంటాయి.
ఏ పేజీలకు ఎక్కువ ప్రమాదం ఉంది?
- అన్నింటినీ బ్రౌజర్లో రెండర్ చేసే React, Vue, Angular లేదా Svelteతో నిర్మించిన single-page యాప్లు.
- ప్రోడక్ట్ వివరాలు, ధరలు లేదా రివ్యూల వంటి ప్రధాన టెక్స్ట్ను లోడ్ అయిన తర్వాత API నుంచి తెచ్చుకునే పేజీలు.
- క్లిక్ చేసినప్పుడు మాత్రమే అభ్యర్థించే ట్యాబ్లు, అకార్డియన్లు లేదా "load more" విభాగాల్లోని కంటెంట్.
- క్రాలర్ దాటలేని లాగిన్, పేవాల్ లేదా కన్సెంట్ వాల్ వెనుక ఉన్న పేజీలు.
noindexను లేదా canonical URLను JavaScript ద్వారా మాత్రమే సెట్ చేసే పేజీలు. అసలు HTMLలోnoindexకనిపిస్తే అది రెండరింగ్ను పూర్తిగా దాటవేయవచ్చని Google హెచ్చరిస్తుంది.
JavaScript మాత్రమే ఉన్న కంటెంట్ను ఎలా సరిచేయాలి?
ముఖ్యమైన కంటెంట్ను మొదటి ప్రతిస్పందనలోనే పంపడమే పరిష్కారం. మీ స్టాక్ అనుమతించే అత్యంత తేలికైన ఎంపికను ఎంచుకోండి:
- సర్వర్-సైడ్ రెండరింగ్ (SSR): Next.js, Nuxt, SvelteKit, Angular SSR వంటి ఫ్రేమ్వర్క్లు పేజీని సర్వర్లో రెండర్ చేసి బ్రౌజర్లో hydrate చేస్తాయి.
- స్టాటిక్ జనరేషన్ లేదా ప్రీరెండరింగ్: వ్యాసాలు, డాక్యుమెంటేషన్, ల్యాండింగ్ పేజీల వంటి అరుదుగా మారే పేజీల కోసం డిప్లాయ్ సమయంలోనే HTMLను నిర్మించండి.
- ప్రోగ్రెసివ్ ఎన్హాన్స్మెంట్: టెక్స్ట్, హెడింగ్లు, లింక్లు, ధరలు, JSON-LDను HTMLలో ఉంచి, JavaScriptను ఇంటరాక్షన్ కోసం మాత్రమే ఉపయోగించండి.
- ముఖ్యమైనదాన్ని ఇన్లైన్ చేయండి: ట్యాబ్లు కంటెంట్ను దాస్తే, క్లిక్పై తెచ్చుకోకుండా అదంతా HTMLలో ఉంచి, CSS లేదా స్క్రిప్ట్తో కనిపించడాన్ని మార్చండి.
మొత్తం యాప్ను ఒకేసారి మార్చాల్సిన అవసరం లేదు. మీరు ఉటంకించబడాలనుకునే పేజీలతో ప్రారంభించండి: వ్యాసాలు, డాక్యుమెంటేషన్, ప్రోడక్ట్, ధరల పేజీలు. ఖాతా విభాగాలు, డాష్బోర్డ్లు క్లయింట్-సైడ్గానే ఉండవచ్చు, ఎందుకంటే అవి ఎలాగూ లాగిన్ వెనుక ఉంటాయి.
యూజర్ ఏజెంట్ ఆధారంగా క్రాలర్లకు యూజర్ల కంటే వేరే పేజీని అందించకండి. అందరికీ ఒకే HTMLను రెండర్ చేయడం నిర్వహించడానికి సులభం, cloaking అనే ఏ సందేహానికీ తావివ్వదు.
లాగిన్, కన్సెంట్, పేవాల్ స్క్రీన్లు కూడా AI క్రాలర్లను బ్లాక్ చేస్తాయా?
అవును. క్రాలర్ లాగిన్ అవ్వదు, కుకీ బ్యానర్ను క్లిక్ చేయదు, ఛాలెంజ్లను పరిష్కరించదు. తన బాట్లు CAPTCHAలను దాటవేయడానికి ప్రయత్నించవని Anthropic చెబుతుంది. కన్సెంట్ మేనేజర్ HTMLలో పేజీని ఫుల్-స్క్రీన్ ఓవర్లేతో భర్తీ చేస్తే, లేదా మొదటిసారి వచ్చే సందర్శకులను కన్సెంట్ పేజీకి రీడైరెక్ట్ చేస్తే, క్రాలర్కు మీ కంటెంట్కు బదులు అదే అందుతుంది.
కన్సెంట్ స్థితితో సంబంధం లేకుండా పబ్లిక్ పేజీలు తమ కంటెంట్ను HTMLలో రెండర్ చేసేలా చూసుకోండి, బ్యానర్ భర్తీగా కాకుండా ఓవర్లేగా ఉండాలి. ఉటంకించబడాలనుకునే పేజీలను లాగిన్ వాల్ల బయట ఉంచండి, క్రాలర్ సైన్-ఇన్ పేజీకి రీడైరెక్ట్ కావడం లేదని తనిఖీ చేయండి.
AISeeWhy JavaScript మాత్రమే ఉన్న పేజీలను ఎలా గుర్తిస్తుంది?
AISeeWhy ప్రతి క్రాలర్కు అందినట్లుగానే, స్క్రిప్ట్లు నడపకుండా, ప్రారంభ HTMLను చదువుతుంది. పేజీలో కనిపించే టెక్స్ట్ దాదాపు లేకుండా, ఫ్రేమ్వర్క్ root ఎలిమెంట్, స్క్రిప్ట్లు మాత్రమే ఉంటే, కంటెంట్కు JavaScript అవసరమని P1 అంశాన్ని రిపోర్ట్ చేస్తుంది. బ్రౌజర్కు అందే పేజీ కాకుండా వేరే చోటుకు క్రాలర్లను పంపే రీడైరెక్ట్లను కూడా ఫ్లాగ్ చేస్తుంది.
ఈ సమస్యకు పరిష్కారాలు
- AI ఏజెంట్ల కోసం Markdown వెర్షన్ లేదు
- పేజీ కంటెంట్కు JavaScript అవసరం
- మార్కప్లో ధర ఉంది కానీ పేజీ టెక్స్ట్లో లేదు
- మార్కప్లోని రేటింగ్లను పేజీ చూపడం లేదు
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
Googlebot JavaScriptను రెండర్ చేస్తుందా?
అవును. Google HTMLను క్రాల్ చేస్తుంది, పేజీలను రెండరింగ్ కోసం క్యూలో పెడుతుంది, వనరులు అనుమతించినప్పుడు headless Chromiumతో వాటిని రెండర్ చేస్తుంది. అయినా Google సర్వర్-సైడ్ రెండరింగ్ లేదా ప్రీరెండరింగ్ను సిఫార్సు చేస్తుంది.
ChatGPT, Claude, Perplexity క్రాలర్లు JavaScriptను నడుపుతాయా?
వాటి సంస్థల క్రాలర్ డాక్యుమెంటేషన్ అలా చెప్పదు. ఒక సంస్థ వేరేలా చెప్పే వరకు, క్రాలర్ ప్రారంభ HTMLను చదువుతుందని భావించి, మీ కంటెంట్ అందులో ఉండేలా చూసుకోండి.
బాట్ల కోసం డైనమిక్ రెండరింగ్ మంచి ఆలోచనేనా?
తాత్కాలిక పరిష్కారంగా పనిచేస్తుంది, కానీ నిర్వహించాల్సిన రెండో రెండరింగ్ మార్గాన్ని జోడిస్తుంది. సర్వర్-సైడ్ రెండరింగ్ లేదా స్టాటిక్ HTML అందరికీ ఒకే కంటెంట్ను అందిస్తుంది, దీర్ఘకాలంలో అదే సులభమైన పరిష్కారం.
JavaScript ద్వారా జోడించిన JSON-LD లెక్కలోకి వస్తుందా?
రెండరింగ్ తర్వాత Google దాన్ని చదవగలదు, కానీ స్క్రిప్ట్లు నడపని క్రాలర్లకు అది కనిపించదు. JSON-LDను ప్రారంభ HTMLలో ఉంచండి.
మూలాలు
- Google Search Central: JavaScript SEO ప్రాథమికాలు
- Apple: Applebot గురించి
- OpenAI: OpenAI క్రాలర్ల అవలోకనం
- Anthropic: Anthropic వెబ్ నుంచి డేటాను క్రాల్ చేస్తుందా, సైట్ యజమానులు ఆ క్రాలర్ను ఎలా బ్లాక్ చేయవచ్చు?
- Perplexity: Perplexity క్రాలర్లు