Je, crawler za AI zinaweza kusoma maudhui yanayochakatwa na JavaScript?
Mara nyingi haziwezi. Googlebot huchakata JavaScript katika hatua ya baadaye, lakini crawler nyingi za AI hazielezi kufanya hivyo, na Google yenyewe inabainisha kwamba si bot zote zinaweza kuendesha JavaScript. Kama maandishi yako yanaonekana tu baada ya skripti kuendeshwa, crawler ya AI inaweza kupokea ukurasa tupu. Toa maudhui makuu kwenye HTML ya awali kwa uchakataji upande wa seva au kurasa tuli.
Programu za ukurasa mmoja na fremu za upande wa mteja ziko kila mahali, na kwenye kivinjari zinaonekana sawa. Crawler inayosoma tu HTML ambayo seva yako inatuma huona kitu kingine: <div id="root"></div>, tagi chache za script na maandishi machache au hakuna kabisa. Kwa majibu ya AI, ukurasa huo hauna chochote cha kunukuu.
Kwenye ukurasa huu
Kwa nini crawler za AI hukosa maudhui ya JavaScript?
Kuendesha JavaScript ni ghali. Crawler inalazimika kupakua skripti, kuziendesha ndani ya injini ya kivinjari na kusubiri data ipakie. Google hufanya hivi kwa ajili ya Search: hupitia, huweka kurasa kwenye foleni ya uchakataji, na huzichakata kwa headless Chromium rasilimali zinaporuhusu. Hata hivyo, Google inapendekeza uchakataji upande wa seva au prerendering kwa sababu ni wa haraka zaidi kwa watumiaji na crawler, na inabainisha kwamba si bot zote zinaweza kuendesha JavaScript.
OpenAI, Anthropic na Perplexity hazielezi katika nyaraka zao za crawler kwamba mawakala wao huendesha JavaScript. Apple inasema Applebot inaweza kuchakata kurasa katika kivinjari. Bila kauli iliyo wazi, dhana salama kwa crawler za AI ni kwamba husoma HTML ya awali pekee.
Ninakaguaje kile crawler inapokea?
Angalia HTML ghafi, si ukurasa uliochakatwa. Zana za wasanidi programu za kivinjari huonyesha DOM baada ya skripti kuendeshwa, ambayo si kile crawler inapata. Tumia view-source, au hifadhi HTML ghafi kutoka kwenye mstari wa amri na uitafute:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Matokeo ya 0 yanamaanisha sentensi haipo kwenye HTML ambayo seva ilituma, kwa hivyo crawler zisizoendesha skripti hazitaipata. Kuangalia faili kwa haraka kunaeleza yaliyobaki: makala iliyochakatwa na seva ina maandishi yake kamili humo; ganda la upande wa mteja lina kipengele tupu cha mzizi na orodha ya skripti.
Kurasa zipi ziko hatarini zaidi?
- Programu za ukurasa mmoja zilizojengwa kwa React, Vue, Angular au Svelte zinazochakata kila kitu kwenye kivinjari.
- Kurasa zinazopakua maandishi yao makuu kutoka kwenye API baada ya kupakia, kama maelezo ya bidhaa, bei au maoni.
- Maudhui ndani ya vichupo, accordion au sehemu za "pakia zaidi" yanayoombwa tu yanapobofywa.
- Kurasa zilizo nyuma ya kuingia, ukuta wa malipo au ukuta wa idhini ambao crawler haiwezi kuupita.
- Kurasa zinazoweka
noindexau URL ya canonical kupitia JavaScript pekee. Google inaonya kwamba inapoonanoindexkatika HTML ya asili inaweza kuruka uchakataji kabisa.
Ninarekebishaje maudhui ya JavaScript pekee?
Rekebisho ni kutuma maudhui muhimu katika jibu la kwanza. Chagua chaguo jepesi zaidi ambalo teknolojia yako inaruhusu:
- Uchakataji upande wa seva (SSR): fremu kama Next.js, Nuxt, SvelteKit na Angular SSR huchakata ukurasa kwenye seva na kuuhuisha (hydrate) kwenye kivinjari.
- Uzalishaji wa kurasa tuli au prerendering: jenga HTML wakati wa kusambaza kwa kurasa zinazobadilika mara chache, kama makala, nyaraka na kurasa za kutua.
- Uboreshaji wa hatua kwa hatua: weka maandishi, vichwa, viungo, bei na JSON-LD kwenye HTML na utumie JavaScript kwa mwingiliano pekee.
- Weka muhimu ndani ya HTML: kama vichupo vinaficha maudhui, weka yote kwenye HTML na ubadilishe kuonekana kwake kwa CSS au skripti, badala ya kuyapakua yanapobofywa.
Huhitaji kubadilisha programu nzima kwa mara moja. Anza na kurasa unazotaka zinukuliwe: makala, nyaraka, kurasa za bidhaa na za bei. Maeneo ya akaunti na dashibodi yanaweza kubaki upande wa mteja, kwa sababu yako nyuma ya kuingia hata hivyo.
Epuka kuzipa crawler ukurasa tofauti na wa watumiaji kulingana na user agent yao. Kuchakata HTML ileile kwa kila mtu ni rahisi zaidi kutunza na huepuka shaka yoyote ya cloaking.
Je, skrini za kuingia, idhini na ukuta wa malipo pia huzuia crawler za AI?
Ndiyo. Crawler haiingii kwenye akaunti, haibofyi bango la cookie na haitatui changamoto. Anthropic inasema bot zake hazitajaribu kukwepa CAPTCHA. Kama kidhibiti cha idhini kinabadilisha ukurasa kwa kifuniko cha skrini nzima ndani ya HTML, au kinaelekeza wageni wa mara ya kwanza kwenye ukurasa wa idhini, crawler hupata hicho badala ya maudhui yako.
Hakikisha kurasa za umma zinachakata maudhui yao kwenye HTML bila kujali hali ya idhini, bango likiwa kifuniko badala ya mbadala. Weka kurasa unazotaka zinukuliwe nje ya kuta za kuingia, na ukague kwamba crawler haielekezwi kwenye ukurasa wa kuingia.
AISeeWhy hugundua vipi kurasa za JavaScript pekee?
AISeeWhy husoma HTML ya awali jinsi kila crawler inavyoipokea, bila kuendesha skripti. Ukurasa unapokuwa na karibu hakuna maandishi yanayoonekana lakini una kipengele cha mzizi cha fremu na skripti, huripoti dosari ya P1 kwamba maudhui yanahitaji JavaScript. Pia huashiria uelekezaji unaopeleka crawler mahali pengine tofauti na ukurasa ambao kivinjari kinapata.
Marekebisho ya tatizo hili
- Hakuna toleo la Markdown kwa mawakala wa AI
- Maudhui ya ukurasa yanahitaji JavaScript
- Bei iko kwenye alama lakini haipo kwenye maandishi ya ukurasa
- Ukadiriaji kwenye alama ambao ukurasa hauuonyeshi
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Je, Googlebot huchakata JavaScript?
Ndiyo. Google hupitia HTML, huweka kurasa kwenye foleni ya uchakataji na huzichakata kwa headless Chromium rasilimali zinaporuhusu. Google bado inapendekeza uchakataji upande wa seva au prerendering.
Je, crawler za ChatGPT, Claude na Perplexity huendesha JavaScript?
Nyaraka za crawler za watoa huduma wao hazisemi hivyo. Hadi mtoa huduma aseme vinginevyo, chukulia kwamba crawler husoma HTML ya awali na uhakikishe maudhui yako yamo ndani yake.
Je, dynamic rendering kwa bot ni wazo zuri?
Inafanya kazi kama suluhisho la muda lakini inaongeza njia ya pili ya uchakataji ya kutunza. Uchakataji upande wa seva au HTML tuli hutoa maudhui yaleyale kwa kila mtu na ndilo rekebisho rahisi zaidi la muda mrefu.
Je, JSON-LD inayoongezwa na JavaScript inahesabika?
Google inaweza kuisoma baada ya uchakataji, lakini crawler zisizoendesha skripti hazitaiona. Weka JSON-LD kwenye HTML ya awali.
Vyanzo
- Google Search Central: Misingi ya SEO kwa JavaScript
- Apple: Kuhusu Applebot
- OpenAI: Muhtasari wa crawler za OpenAI
- Anthropic: Je, Anthropic hupitia data kutoka kwenye wavuti, na wamiliki wa tovuti wanawezaje kuzuia crawler?
- Perplexity: Crawler za Perplexity