શું AI ક્રૉલર JavaScriptથી રેન્ડર થતું કન્ટેન્ટ વાંચી શકે છે?

પ્રકાશિત

ટૂંકો જવાબ

ઘણી વાર નહીં. Googlebot પછીના તબક્કામાં JavaScript રેન્ડર કરે છે, પણ મોટા ભાગના AI ક્રૉલર એવું કરતા હોવાનું દસ્તાવેજમાં જણાવતા નથી, અને Google પોતે નોંધે છે કે બધા બૉટ JavaScript ચલાવી શકતા નથી. જો તમારું લખાણ ફક્ત સ્ક્રિપ્ટ ચાલ્યા પછી દેખાય, તો AI ક્રૉલરને ખાલી પેજ મળી શકે છે. સર્વર-સાઇડ રેન્ડરિંગ કે સ્ટેટિક પેજથી મુખ્ય કન્ટેન્ટ શરૂઆતના HTMLમાં આપો.

Single-page ઍપ અને client-side ફ્રેમવર્ક બધે છે, અને બ્રાઉઝરમાં તે બરાબર દેખાય છે. તમારું સર્વર મોકલે છે ફક્ત એ HTML વાંચતા ક્રૉલરને કંઈક બીજું દેખાય છે: એક <div id="root"></div>, થોડા script ટૅગ અને બહુ ઓછું કે બિલકુલ લખાણ નહીં. AI જવાબો માટે, એ પેજમાં ટાંકવા જેવું કંઈ નથી.

આ પેજ પર
  1. AI ક્રૉલર JavaScript કન્ટેન્ટ કેમ ચૂકી જાય છે?
  2. ક્રૉલરને શું મળે છે તે કેવી રીતે તપાસવું?
  3. કયાં પેજ સૌથી વધુ જોખમમાં છે?
  4. ફક્ત JavaScriptવાળું કન્ટેન્ટ કેવી રીતે સુધારવું?
  5. શું લૉગિન, સંમતિ અને પેવૉલ સ્ક્રીન પણ AI ક્રૉલરને બ્લૉક કરે છે?
  6. AISeeWhy ફક્ત JavaScriptવાળાં પેજ કેવી રીતે શોધે છે?

AI ક્રૉલર JavaScript કન્ટેન્ટ કેમ ચૂકી જાય છે?

JavaScript ચલાવવું ખર્ચાળ છે. ક્રૉલરે સ્ક્રિપ્ટ ડાઉનલોડ કરવી પડે, તેમને બ્રાઉઝર એન્જિનમાં ચલાવવી પડે અને ડેટા લોડ થવાની રાહ જોવી પડે. Google Search માટે આ કરે છે: તે ક્રૉલ કરે છે, પેજને રેન્ડરિંગ માટે કતારમાં મૂકે છે, અને સંસાધનો હોય ત્યારે headless Chromiumથી રેન્ડર કરે છે. છતાં Google સર્વર-સાઇડ રેન્ડરિંગ કે પ્રીરેન્ડરિંગની ભલામણ કરે છે કારણ કે તે યુઝર અને ક્રૉલર માટે ઝડપી છે, અને નોંધે છે કે બધા બૉટ JavaScript ચલાવી શકતા નથી.

OpenAI, Anthropic અને Perplexity તેમના ક્રૉલર દસ્તાવેજમાં જણાવતા નથી કે તેમના એજન્ટ JavaScript ચલાવે છે. Apple કહે છે કે Applebot પેજને બ્રાઉઝરમાં રેન્ડર કરી શકે છે. સ્પષ્ટ નિવેદન વગર, AI ક્રૉલર માટે સલામત ધારણા એ છે કે તેઓ ફક્ત શરૂઆતનું HTML વાંચે છે.

ક્રૉલરને શું મળે છે તે કેવી રીતે તપાસવું?

રેન્ડર થયેલું પેજ નહીં, કાચું HTML જુઓ. બ્રાઉઝરનાં developer tools સ્ક્રિપ્ટ ચાલ્યા પછીનું DOM બતાવે છે, જે ક્રૉલરને મળતું નથી. view-source વાપરો, અથવા કમાન્ડ લાઇનથી કાચું HTML સાચવીને તેમાં શોધો:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

0 પરિણામનો અર્થ છે કે વાક્ય સર્વરે મોકલેલા HTMLમાં નથી, તેથી સ્ક્રિપ્ટ ન ચલાવતા ક્રૉલરને તે મળશે નહીં. ફાઇલ પર ઝડપી નજર બાકીનું કહી દે છે: સર્વર પર રેન્ડર થયેલા લેખનું આખું લખાણ ત્યાં હોય છે; client-side ખોખામાં ખાલી root ઘટક અને સ્ક્રિપ્ટની યાદી હોય છે.

કયાં પેજ સૌથી વધુ જોખમમાં છે?

ફક્ત JavaScriptવાળું કન્ટેન્ટ કેવી રીતે સુધારવું?

ઉકેલ એ છે કે મહત્ત્વનું કન્ટેન્ટ પહેલા જવાબમાં જ મોકલો. તમારો stack છૂટ આપે એવો સૌથી હળવો વિકલ્પ પસંદ કરો:

તમારે આખી ઍપ એકસાથે બદલવાની જરૂર નથી. તમે જે પેજ ટંકાવા ઇચ્છો છો તેનાથી શરૂ કરો: લેખ, દસ્તાવેજ, પ્રોડક્ટ અને કિંમતનાં પેજ. એકાઉન્ટ વિભાગો અને ડૅશબોર્ડ client-side રહી શકે છે, કારણ કે તે આમ પણ લૉગિન પાછળ છે.

યુઝર એજન્ટના આધારે ક્રૉલરને યુઝર કરતાં અલગ પેજ આપવાનું ટાળો. બધા માટે એક જ HTML રેન્ડર કરવું જાળવવામાં સરળ છે અને cloaking વિશેની કોઈ પણ શંકા ટાળે છે.

શું લૉગિન, સંમતિ અને પેવૉલ સ્ક્રીન પણ AI ક્રૉલરને બ્લૉક કરે છે?

હા. ક્રૉલર લૉગ ઇન કરતો નથી, કૂકી બૅનર પર ક્લિક કરતો નથી અને ચેલેન્જ ઉકેલતો નથી. Anthropic જણાવે છે કે તેના બૉટ CAPTCHA બાયપાસ કરવાનો પ્રયાસ નહીં કરે. જો સંમતિ મૅનેજર HTMLમાં પેજને આખી સ્ક્રીનના overlayથી બદલી નાખે, કે પહેલી વાર આવતા મુલાકાતીઓને સંમતિ પેજ પર રીડાયરેક્ટ કરે, તો ક્રૉલરને તમારા કન્ટેન્ટને બદલે એ મળે છે.

ખાતરી કરો કે જાહેર પેજ સંમતિની સ્થિતિ ગમે તે હોય, પોતાનું કન્ટેન્ટ HTMLમાં રેન્ડર કરે, અને બૅનર પેજની જગ્યા લેવાને બદલે overlay તરીકે હોય. જે પેજ ટંકાવવાં હોય તેમને લૉગિનની દીવાલની બહાર રાખો, અને તપાસો કે ક્રૉલરને સાઇન-ઇન પેજ પર રીડાયરેક્ટ નથી કરાતો.

AISeeWhy ફક્ત JavaScriptવાળાં પેજ કેવી રીતે શોધે છે?

AISeeWhy દરેક ક્રૉલરને મળે છે તે રીતે, સ્ક્રિપ્ટ ચલાવ્યા વગર, શરૂઆતનું HTML વાંચે છે. જ્યારે પેજમાં લગભગ કોઈ દેખાતું લખાણ ન હોય પણ ફ્રેમવર્કનું root ઘટક અને સ્ક્રિપ્ટ હોય, ત્યારે તે P1 તારણ બતાવે છે કે કન્ટેન્ટને JavaScriptની જરૂર છે. તે એવા રીડાયરેક્ટ પણ બતાવે છે જે ક્રૉલરને બ્રાઉઝરને મળતા પેજ સિવાય બીજે મોકલે છે.

આ સમસ્યાના સુધારા

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

શું Googlebot JavaScript રેન્ડર કરે છે?

હા. Google HTML ક્રૉલ કરે છે, પેજને રેન્ડરિંગ માટે કતારમાં મૂકે છે અને સંસાધનો હોય ત્યારે headless Chromiumથી રેન્ડર કરે છે. છતાં Google સર્વર-સાઇડ રેન્ડરિંગ કે પ્રીરેન્ડરિંગની ભલામણ કરે છે.

શું ChatGPT, Claude અને Perplexityના ક્રૉલર JavaScript ચલાવે છે?

તેમના પ્રોવાઇડરના ક્રૉલર દસ્તાવેજ એવું કહેતા નથી. પ્રોવાઇડર બીજું કંઈ ન જણાવે ત્યાં સુધી માની લો કે ક્રૉલર શરૂઆતનું HTML વાંચે છે અને ખાતરી કરો કે તમારું કન્ટેન્ટ તેમાં છે.

શું બૉટ માટે dynamic rendering સારો વિચાર છે?

તે કામચલાઉ ઉપાય તરીકે કામ કરે છે, પણ જાળવવાનો બીજો રેન્ડરિંગ માર્ગ ઉમેરે છે. સર્વર-સાઇડ રેન્ડરિંગ કે સ્ટેટિક HTML બધાને એ જ કન્ટેન્ટ આપે છે અને લાંબા ગાળે સરળ ઉકેલ છે.

શું JavaScriptથી ઉમેરાયેલું JSON-LD ગણાય છે?

Google રેન્ડરિંગ પછી તેને વાંચી શકે છે, પણ સ્ક્રિપ્ટ ન ચલાવતા ક્રૉલરને તે દેખાશે નહીં. JSON-LD શરૂઆતના HTMLમાં મૂકો.

સ્રોતો

વધુ લેખો