શું AI ક્રૉલર JavaScriptથી રેન્ડર થતું કન્ટેન્ટ વાંચી શકે છે?
ઘણી વાર નહીં. Googlebot પછીના તબક્કામાં JavaScript રેન્ડર કરે છે, પણ મોટા ભાગના AI ક્રૉલર એવું કરતા હોવાનું દસ્તાવેજમાં જણાવતા નથી, અને Google પોતે નોંધે છે કે બધા બૉટ JavaScript ચલાવી શકતા નથી. જો તમારું લખાણ ફક્ત સ્ક્રિપ્ટ ચાલ્યા પછી દેખાય, તો AI ક્રૉલરને ખાલી પેજ મળી શકે છે. સર્વર-સાઇડ રેન્ડરિંગ કે સ્ટેટિક પેજથી મુખ્ય કન્ટેન્ટ શરૂઆતના HTMLમાં આપો.
Single-page ઍપ અને client-side ફ્રેમવર્ક બધે છે, અને બ્રાઉઝરમાં તે બરાબર દેખાય છે. તમારું સર્વર મોકલે છે ફક્ત એ HTML વાંચતા ક્રૉલરને કંઈક બીજું દેખાય છે: એક <div id="root"></div>, થોડા script ટૅગ અને બહુ ઓછું કે બિલકુલ લખાણ નહીં. AI જવાબો માટે, એ પેજમાં ટાંકવા જેવું કંઈ નથી.
આ પેજ પર
AI ક્રૉલર JavaScript કન્ટેન્ટ કેમ ચૂકી જાય છે?
JavaScript ચલાવવું ખર્ચાળ છે. ક્રૉલરે સ્ક્રિપ્ટ ડાઉનલોડ કરવી પડે, તેમને બ્રાઉઝર એન્જિનમાં ચલાવવી પડે અને ડેટા લોડ થવાની રાહ જોવી પડે. Google Search માટે આ કરે છે: તે ક્રૉલ કરે છે, પેજને રેન્ડરિંગ માટે કતારમાં મૂકે છે, અને સંસાધનો હોય ત્યારે headless Chromiumથી રેન્ડર કરે છે. છતાં Google સર્વર-સાઇડ રેન્ડરિંગ કે પ્રીરેન્ડરિંગની ભલામણ કરે છે કારણ કે તે યુઝર અને ક્રૉલર માટે ઝડપી છે, અને નોંધે છે કે બધા બૉટ JavaScript ચલાવી શકતા નથી.
OpenAI, Anthropic અને Perplexity તેમના ક્રૉલર દસ્તાવેજમાં જણાવતા નથી કે તેમના એજન્ટ JavaScript ચલાવે છે. Apple કહે છે કે Applebot પેજને બ્રાઉઝરમાં રેન્ડર કરી શકે છે. સ્પષ્ટ નિવેદન વગર, AI ક્રૉલર માટે સલામત ધારણા એ છે કે તેઓ ફક્ત શરૂઆતનું HTML વાંચે છે.
ક્રૉલરને શું મળે છે તે કેવી રીતે તપાસવું?
રેન્ડર થયેલું પેજ નહીં, કાચું HTML જુઓ. બ્રાઉઝરનાં developer tools સ્ક્રિપ્ટ ચાલ્યા પછીનું DOM બતાવે છે, જે ક્રૉલરને મળતું નથી. view-source વાપરો, અથવા કમાન્ડ લાઇનથી કાચું HTML સાચવીને તેમાં શોધો:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html 0 પરિણામનો અર્થ છે કે વાક્ય સર્વરે મોકલેલા HTMLમાં નથી, તેથી સ્ક્રિપ્ટ ન ચલાવતા ક્રૉલરને તે મળશે નહીં. ફાઇલ પર ઝડપી નજર બાકીનું કહી દે છે: સર્વર પર રેન્ડર થયેલા લેખનું આખું લખાણ ત્યાં હોય છે; client-side ખોખામાં ખાલી root ઘટક અને સ્ક્રિપ્ટની યાદી હોય છે.
કયાં પેજ સૌથી વધુ જોખમમાં છે?
- React, Vue, Angular કે Svelteથી બનેલી single-page ઍપ જે બધું બ્રાઉઝરમાં રેન્ડર કરે છે.
- લોડ થયા પછી API પરથી મુખ્ય લખાણ મેળવતાં પેજ, જેમ કે પ્રોડક્ટની વિગતો, કિંમતો કે રિવ્યૂ.
- ટૅબ, accordion કે "load more" વિભાગોની અંદરનું કન્ટેન્ટ જે ફક્ત ક્લિક પર મંગાવાય છે.
- લૉગિન, પેવૉલ કે સંમતિની દીવાલ પાછળનાં પેજ જેને ક્રૉલર પાર કરી શકતો નથી.
- ફક્ત JavaScript દ્વારા
noindexકે canonical URL સેટ કરતાં પેજ. Google ચેતવે છે કે જ્યારે તેને મૂળ HTMLમાંnoindexદેખાય ત્યારે તે રેન્ડરિંગ પૂરેપૂરું છોડી શકે છે.
ફક્ત JavaScriptવાળું કન્ટેન્ટ કેવી રીતે સુધારવું?
ઉકેલ એ છે કે મહત્ત્વનું કન્ટેન્ટ પહેલા જવાબમાં જ મોકલો. તમારો stack છૂટ આપે એવો સૌથી હળવો વિકલ્પ પસંદ કરો:
- સર્વર-સાઇડ રેન્ડરિંગ (SSR): Next.js, Nuxt, SvelteKit અને Angular SSR જેવાં ફ્રેમવર્ક પેજને સર્વર પર રેન્ડર કરે છે અને બ્રાઉઝરમાં hydrate કરે છે.
- સ્ટેટિક જનરેશન કે પ્રીરેન્ડરિંગ: લેખ, દસ્તાવેજ અને લૅન્ડિંગ પેજ જેવાં ભાગ્યે જ બદલાતાં પેજ માટે deploy સમયે HTML બનાવો.
- પ્રોગ્રેસિવ એન્હાન્સમેન્ટ: લખાણ, હેડિંગ, લિંક, કિંમતો અને JSON-LD HTMLમાં મૂકો અને JavaScript ફક્ત ઇન્ટરૅક્શન માટે વાપરો.
- મહત્ત્વનું inline કરો: જો ટૅબ કન્ટેન્ટ છુપાવે, તો ક્લિક પર મંગાવવાને બદલે બધું HTMLમાં મૂકો અને CSS કે સ્ક્રિપ્ટથી દેખાવું-છુપાવું બદલો.
તમારે આખી ઍપ એકસાથે બદલવાની જરૂર નથી. તમે જે પેજ ટંકાવા ઇચ્છો છો તેનાથી શરૂ કરો: લેખ, દસ્તાવેજ, પ્રોડક્ટ અને કિંમતનાં પેજ. એકાઉન્ટ વિભાગો અને ડૅશબોર્ડ client-side રહી શકે છે, કારણ કે તે આમ પણ લૉગિન પાછળ છે.
યુઝર એજન્ટના આધારે ક્રૉલરને યુઝર કરતાં અલગ પેજ આપવાનું ટાળો. બધા માટે એક જ HTML રેન્ડર કરવું જાળવવામાં સરળ છે અને cloaking વિશેની કોઈ પણ શંકા ટાળે છે.
શું લૉગિન, સંમતિ અને પેવૉલ સ્ક્રીન પણ AI ક્રૉલરને બ્લૉક કરે છે?
હા. ક્રૉલર લૉગ ઇન કરતો નથી, કૂકી બૅનર પર ક્લિક કરતો નથી અને ચેલેન્જ ઉકેલતો નથી. Anthropic જણાવે છે કે તેના બૉટ CAPTCHA બાયપાસ કરવાનો પ્રયાસ નહીં કરે. જો સંમતિ મૅનેજર HTMLમાં પેજને આખી સ્ક્રીનના overlayથી બદલી નાખે, કે પહેલી વાર આવતા મુલાકાતીઓને સંમતિ પેજ પર રીડાયરેક્ટ કરે, તો ક્રૉલરને તમારા કન્ટેન્ટને બદલે એ મળે છે.
ખાતરી કરો કે જાહેર પેજ સંમતિની સ્થિતિ ગમે તે હોય, પોતાનું કન્ટેન્ટ HTMLમાં રેન્ડર કરે, અને બૅનર પેજની જગ્યા લેવાને બદલે overlay તરીકે હોય. જે પેજ ટંકાવવાં હોય તેમને લૉગિનની દીવાલની બહાર રાખો, અને તપાસો કે ક્રૉલરને સાઇન-ઇન પેજ પર રીડાયરેક્ટ નથી કરાતો.
AISeeWhy ફક્ત JavaScriptવાળાં પેજ કેવી રીતે શોધે છે?
AISeeWhy દરેક ક્રૉલરને મળે છે તે રીતે, સ્ક્રિપ્ટ ચલાવ્યા વગર, શરૂઆતનું HTML વાંચે છે. જ્યારે પેજમાં લગભગ કોઈ દેખાતું લખાણ ન હોય પણ ફ્રેમવર્કનું root ઘટક અને સ્ક્રિપ્ટ હોય, ત્યારે તે P1 તારણ બતાવે છે કે કન્ટેન્ટને JavaScriptની જરૂર છે. તે એવા રીડાયરેક્ટ પણ બતાવે છે જે ક્રૉલરને બ્રાઉઝરને મળતા પેજ સિવાય બીજે મોકલે છે.
આ સમસ્યાના સુધારા
- AI એજન્ટ માટે Markdown આવૃત્તિ નથી
- પેજના કન્ટેન્ટને JavaScriptની જરૂર છે
- કિંમત માર્કઅપમાં છે પણ પેજના ટેક્સ્ટમાં નથી
- માર્કઅપમાંના રેટિંગ પેજ બતાવતું નથી
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું Googlebot JavaScript રેન્ડર કરે છે?
હા. Google HTML ક્રૉલ કરે છે, પેજને રેન્ડરિંગ માટે કતારમાં મૂકે છે અને સંસાધનો હોય ત્યારે headless Chromiumથી રેન્ડર કરે છે. છતાં Google સર્વર-સાઇડ રેન્ડરિંગ કે પ્રીરેન્ડરિંગની ભલામણ કરે છે.
શું ChatGPT, Claude અને Perplexityના ક્રૉલર JavaScript ચલાવે છે?
તેમના પ્રોવાઇડરના ક્રૉલર દસ્તાવેજ એવું કહેતા નથી. પ્રોવાઇડર બીજું કંઈ ન જણાવે ત્યાં સુધી માની લો કે ક્રૉલર શરૂઆતનું HTML વાંચે છે અને ખાતરી કરો કે તમારું કન્ટેન્ટ તેમાં છે.
શું બૉટ માટે dynamic rendering સારો વિચાર છે?
તે કામચલાઉ ઉપાય તરીકે કામ કરે છે, પણ જાળવવાનો બીજો રેન્ડરિંગ માર્ગ ઉમેરે છે. સર્વર-સાઇડ રેન્ડરિંગ કે સ્ટેટિક HTML બધાને એ જ કન્ટેન્ટ આપે છે અને લાંબા ગાળે સરળ ઉકેલ છે.
શું JavaScriptથી ઉમેરાયેલું JSON-LD ગણાય છે?
Google રેન્ડરિંગ પછી તેને વાંચી શકે છે, પણ સ્ક્રિપ્ટ ન ચલાવતા ક્રૉલરને તે દેખાશે નહીં. JSON-LD શરૂઆતના HTMLમાં મૂકો.
સ્રોતો
- Google Search Central: JavaScript SEOની મૂળભૂત બાબતો
- Apple: Applebot વિશે
- OpenAI: OpenAI ક્રૉલરની ઝાંખી
- Anthropic: શું Anthropic વેબ પરથી ડેટા ક્રૉલ કરે છે, અને સાઇટ માલિકો ક્રૉલરને કેવી રીતે બ્લૉક કરી શકે?
- Perplexity: Perplexity ક્રૉલર