Je, crawler za AI zinaweza kusoma maudhui yanayochakatwa na JavaScript?

Imechapishwa

Jibu fupi

Mara nyingi haziwezi. Googlebot huchakata JavaScript katika hatua ya baadaye, lakini crawler nyingi za AI hazielezi kufanya hivyo, na Google yenyewe inabainisha kwamba si bot zote zinaweza kuendesha JavaScript. Kama maandishi yako yanaonekana tu baada ya skripti kuendeshwa, crawler ya AI inaweza kupokea ukurasa tupu. Toa maudhui makuu kwenye HTML ya awali kwa uchakataji upande wa seva au kurasa tuli.

Programu za ukurasa mmoja na fremu za upande wa mteja ziko kila mahali, na kwenye kivinjari zinaonekana sawa. Crawler inayosoma tu HTML ambayo seva yako inatuma huona kitu kingine: <div id="root"></div>, tagi chache za script na maandishi machache au hakuna kabisa. Kwa majibu ya AI, ukurasa huo hauna chochote cha kunukuu.

Kwenye ukurasa huu
  1. Kwa nini crawler za AI hukosa maudhui ya JavaScript?
  2. Ninakaguaje kile crawler inapokea?
  3. Kurasa zipi ziko hatarini zaidi?
  4. Ninarekebishaje maudhui ya JavaScript pekee?
  5. Je, skrini za kuingia, idhini na ukuta wa malipo pia huzuia crawler za AI?
  6. AISeeWhy hugundua vipi kurasa za JavaScript pekee?

Kwa nini crawler za AI hukosa maudhui ya JavaScript?

Kuendesha JavaScript ni ghali. Crawler inalazimika kupakua skripti, kuziendesha ndani ya injini ya kivinjari na kusubiri data ipakie. Google hufanya hivi kwa ajili ya Search: hupitia, huweka kurasa kwenye foleni ya uchakataji, na huzichakata kwa headless Chromium rasilimali zinaporuhusu. Hata hivyo, Google inapendekeza uchakataji upande wa seva au prerendering kwa sababu ni wa haraka zaidi kwa watumiaji na crawler, na inabainisha kwamba si bot zote zinaweza kuendesha JavaScript.

OpenAI, Anthropic na Perplexity hazielezi katika nyaraka zao za crawler kwamba mawakala wao huendesha JavaScript. Apple inasema Applebot inaweza kuchakata kurasa katika kivinjari. Bila kauli iliyo wazi, dhana salama kwa crawler za AI ni kwamba husoma HTML ya awali pekee.

Ninakaguaje kile crawler inapokea?

Angalia HTML ghafi, si ukurasa uliochakatwa. Zana za wasanidi programu za kivinjari huonyesha DOM baada ya skripti kuendeshwa, ambayo si kile crawler inapata. Tumia view-source, au hifadhi HTML ghafi kutoka kwenye mstari wa amri na uitafute:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Matokeo ya 0 yanamaanisha sentensi haipo kwenye HTML ambayo seva ilituma, kwa hivyo crawler zisizoendesha skripti hazitaipata. Kuangalia faili kwa haraka kunaeleza yaliyobaki: makala iliyochakatwa na seva ina maandishi yake kamili humo; ganda la upande wa mteja lina kipengele tupu cha mzizi na orodha ya skripti.

Kurasa zipi ziko hatarini zaidi?

Ninarekebishaje maudhui ya JavaScript pekee?

Rekebisho ni kutuma maudhui muhimu katika jibu la kwanza. Chagua chaguo jepesi zaidi ambalo teknolojia yako inaruhusu:

Huhitaji kubadilisha programu nzima kwa mara moja. Anza na kurasa unazotaka zinukuliwe: makala, nyaraka, kurasa za bidhaa na za bei. Maeneo ya akaunti na dashibodi yanaweza kubaki upande wa mteja, kwa sababu yako nyuma ya kuingia hata hivyo.

Epuka kuzipa crawler ukurasa tofauti na wa watumiaji kulingana na user agent yao. Kuchakata HTML ileile kwa kila mtu ni rahisi zaidi kutunza na huepuka shaka yoyote ya cloaking.

Je, skrini za kuingia, idhini na ukuta wa malipo pia huzuia crawler za AI?

Ndiyo. Crawler haiingii kwenye akaunti, haibofyi bango la cookie na haitatui changamoto. Anthropic inasema bot zake hazitajaribu kukwepa CAPTCHA. Kama kidhibiti cha idhini kinabadilisha ukurasa kwa kifuniko cha skrini nzima ndani ya HTML, au kinaelekeza wageni wa mara ya kwanza kwenye ukurasa wa idhini, crawler hupata hicho badala ya maudhui yako.

Hakikisha kurasa za umma zinachakata maudhui yao kwenye HTML bila kujali hali ya idhini, bango likiwa kifuniko badala ya mbadala. Weka kurasa unazotaka zinukuliwe nje ya kuta za kuingia, na ukague kwamba crawler haielekezwi kwenye ukurasa wa kuingia.

AISeeWhy hugundua vipi kurasa za JavaScript pekee?

AISeeWhy husoma HTML ya awali jinsi kila crawler inavyoipokea, bila kuendesha skripti. Ukurasa unapokuwa na karibu hakuna maandishi yanayoonekana lakini una kipengele cha mzizi cha fremu na skripti, huripoti dosari ya P1 kwamba maudhui yanahitaji JavaScript. Pia huashiria uelekezaji unaopeleka crawler mahali pengine tofauti na ukurasa ambao kivinjari kinapata.

Marekebisho ya tatizo hili

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, Googlebot huchakata JavaScript?

Ndiyo. Google hupitia HTML, huweka kurasa kwenye foleni ya uchakataji na huzichakata kwa headless Chromium rasilimali zinaporuhusu. Google bado inapendekeza uchakataji upande wa seva au prerendering.

Je, crawler za ChatGPT, Claude na Perplexity huendesha JavaScript?

Nyaraka za crawler za watoa huduma wao hazisemi hivyo. Hadi mtoa huduma aseme vinginevyo, chukulia kwamba crawler husoma HTML ya awali na uhakikishe maudhui yako yamo ndani yake.

Je, dynamic rendering kwa bot ni wazo zuri?

Inafanya kazi kama suluhisho la muda lakini inaongeza njia ya pili ya uchakataji ya kutunza. Uchakataji upande wa seva au HTML tuli hutoa maudhui yaleyale kwa kila mtu na ndilo rekebisho rahisi zaidi la muda mrefu.

Je, JSON-LD inayoongezwa na JavaScript inahesabika?

Google inaweza kuisoma baada ya uchakataji, lakini crawler zisizoendesha skripti hazitaiona. Weka JSON-LD kwenye HTML ya awali.

Vyanzo

Makala zaidi