Ali pajki UI lahko berejo vsebino, ki jo izriše JavaScript?

Objavljeno

Kratek odgovor

Pogosto ne. Googlebot JavaScript izriše v poznejšem koraku, večina pajkov UI pa ne dokumentira, da bi to počela, in tudi Google sam opozarja, da vsi boti ne morejo izvajati JavaScripta. Če se vaše besedilo pojavi šele po zagonu skriptov, lahko pajek UI dobi prazno stran. Glavno vsebino strezite v začetnem HTML z izrisovanjem na strežniku ali statičnimi stranmi.

Enostranske aplikacije in ogrodja na strani odjemalca so povsod in v brskalniku so videti v redu. Pajek, ki bere samo HTML, ki ga pošlje vaš strežnik, vidi nekaj drugega: <div id="root"></div>, nekaj oznak script in malo ali nič besedila. Za odgovore UI taka stran nima česa citirati.

Na tej strani
  1. Zakaj pajki UI spregledajo vsebino v JavaScriptu?
  2. Kako preverim, kaj dobi pajek?
  3. Katere strani so najbolj ogrožene?
  4. Kako popravim vsebino, ki obstaja samo v JavaScriptu?
  5. Ali zasloni za prijavo, soglasje in plačljivi zidovi blokirajo tudi pajke UI?
  6. Kako AISeeWhy zazna strani, ki delujejo samo z JavaScriptom?

Zakaj pajki UI spregledajo vsebino v JavaScriptu?

Izvajanje JavaScripta je drago. Pajek mora prenesti skripte, jih izvesti v brskalniškem pogonu in počakati, da se naložijo podatki. Google to počne za Iskanje: pajka, strani postavi v čakalno vrsto za izrisovanje in jih izriše z Chromiumom brez grafičnega vmesnika, ko to dopuščajo viri. Kljub temu Google priporoča izrisovanje na strežniku ali vnaprejšnje izrisovanje, ker je hitrejše za uporabnike in pajke, in opozarja, da vsi boti ne morejo izvajati JavaScripta.

OpenAI, Anthropic in Perplexity v dokumentaciji o pajkih ne navajajo, da njihovi agenti izvajajo JavaScript. Apple pravi, da Applebot strani lahko izriše v brskalniku. Brez jasne izjave je za pajke UI varna predpostavka, da berejo samo začetni HTML.

Kako preverim, kaj dobi pajek?

Poglejte neobdelani HTML, ne izrisane strani. Razvijalska orodja brskalnika pokažejo DOM po izvedbi skriptov, kar ni tisto, kar dobi pajek. Uporabite prikaz izvorne kode ali neobdelani HTML shranite iz ukazne vrstice in v njem iščite:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Rezultat 0 pomeni, da stavka ni v HTML, ki ga je poslal strežnik, zato ga pajki, ki ne izvajajo skriptov, ne bodo našli. Hiter pogled v datoteko pove ostalo: članek, izrisan na strežniku, ima tam celotno besedilo; lupina na strani odjemalca ima prazen korenski element in seznam skriptov.

Katere strani so najbolj ogrožene?

Kako popravim vsebino, ki obstaja samo v JavaScriptu?

Popravek je, da pomembno vsebino pošljete v prvem odgovoru. Izberite najlažjo možnost, ki jo dopušča vaš sklad:

Ni vam treba naenkrat predelati cele aplikacije. Začnite s stranmi, za katere želite, da so citirane: članki, dokumentacija, strani izdelkov in cen. Območja računa in nadzorne plošče lahko ostanejo na strani odjemalca, saj so tako ali tako za prijavo.

Pajkom ne strezite drugačne strani kot uporabnikom na podlagi njihovega user agenta. Izrisovanje istega HTML za vse je preprostejše za vzdrževanje in odpravi vsak dvom o prikrivanju (cloaking).

Ali zasloni za prijavo, soglasje in plačljivi zidovi blokirajo tudi pajke UI?

Da. Pajek se ne prijavi, ne klikne pasice s piškotki in ne rešuje izzivov. Anthropic navaja, da njegovi boti ne bodo poskušali obiti CAPTCHA. Če upravljalnik soglasij stran v HTML nadomesti s celozaslonskim prekrivnim slojem ali obiskovalce ob prvem obisku preusmeri na stran za soglasje, pajek namesto vaše vsebine dobi to.

Poskrbite, da javne strani svojo vsebino izrišejo v HTML ne glede na stanje soglasja, pasica pa naj bo prekrivni sloj in ne nadomestek. Strani, za katere želite, da so citirane, ohranite zunaj zidov za prijavo in preverite, da pajek ni preusmerjen na stran za prijavo.

Kako AISeeWhy zazna strani, ki delujejo samo z JavaScriptom?

AISeeWhy prebere začetni HTML tako, kot ga dobi vsak pajek, brez izvajanja skriptov. Ko ima stran skoraj nič vidnega besedila, ima pa korenski element ogrodja in skripte, poroča ugotovitev P1, da vsebina potrebuje JavaScript. Označi tudi preusmeritve, ki pajke pošljejo drugam, kot je stran, ki jo dobi brskalnik.

Popravki za to težavo

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali Googlebot izrisuje JavaScript?

Da. Google pajka HTML, strani postavi v čakalno vrsto za izrisovanje in jih izriše z Chromiumom brez grafičnega vmesnika, ko to dopuščajo viri. Google kljub temu priporoča izrisovanje na strežniku ali vnaprejšnje izrisovanje.

Ali pajki ChatGPT, Claude in Perplexity izvajajo JavaScript?

Dokumentacija o pajkih njihovih ponudnikov tega ne pove. Dokler ponudnik ne navede drugače, predpostavite, da pajek bere začetni HTML, in poskrbite, da je vaša vsebina v njem.

Ali je dinamično izrisovanje za bote dobra zamisel?

Deluje kot začasna rešitev, vendar doda drugo pot izrisovanja, ki jo je treba vzdrževati. Izrisovanje na strežniku ali statični HTML vsem streže isto vsebino in je preprostejša dolgoročna rešitev.

Ali JSON-LD, ki ga doda JavaScript, šteje?

Google ga lahko prebere po izrisovanju, pajki, ki ne izvajajo skriptov, pa ga ne bodo videli. JSON-LD postavite v začetni HTML.

Viri

Več člankov