Ali pajki UI lahko berejo vsebino, ki jo izriše JavaScript?
Pogosto ne. Googlebot JavaScript izriše v poznejšem koraku, večina pajkov UI pa ne dokumentira, da bi to počela, in tudi Google sam opozarja, da vsi boti ne morejo izvajati JavaScripta. Če se vaše besedilo pojavi šele po zagonu skriptov, lahko pajek UI dobi prazno stran. Glavno vsebino strezite v začetnem HTML z izrisovanjem na strežniku ali statičnimi stranmi.
Enostranske aplikacije in ogrodja na strani odjemalca so povsod in v brskalniku so videti v redu. Pajek, ki bere samo HTML, ki ga pošlje vaš strežnik, vidi nekaj drugega: <div id="root"></div>, nekaj oznak script in malo ali nič besedila. Za odgovore UI taka stran nima česa citirati.
Na tej strani
- Zakaj pajki UI spregledajo vsebino v JavaScriptu?
- Kako preverim, kaj dobi pajek?
- Katere strani so najbolj ogrožene?
- Kako popravim vsebino, ki obstaja samo v JavaScriptu?
- Ali zasloni za prijavo, soglasje in plačljivi zidovi blokirajo tudi pajke UI?
- Kako AISeeWhy zazna strani, ki delujejo samo z JavaScriptom?
Zakaj pajki UI spregledajo vsebino v JavaScriptu?
Izvajanje JavaScripta je drago. Pajek mora prenesti skripte, jih izvesti v brskalniškem pogonu in počakati, da se naložijo podatki. Google to počne za Iskanje: pajka, strani postavi v čakalno vrsto za izrisovanje in jih izriše z Chromiumom brez grafičnega vmesnika, ko to dopuščajo viri. Kljub temu Google priporoča izrisovanje na strežniku ali vnaprejšnje izrisovanje, ker je hitrejše za uporabnike in pajke, in opozarja, da vsi boti ne morejo izvajati JavaScripta.
OpenAI, Anthropic in Perplexity v dokumentaciji o pajkih ne navajajo, da njihovi agenti izvajajo JavaScript. Apple pravi, da Applebot strani lahko izriše v brskalniku. Brez jasne izjave je za pajke UI varna predpostavka, da berejo samo začetni HTML.
Kako preverim, kaj dobi pajek?
Poglejte neobdelani HTML, ne izrisane strani. Razvijalska orodja brskalnika pokažejo DOM po izvedbi skriptov, kar ni tisto, kar dobi pajek. Uporabite prikaz izvorne kode ali neobdelani HTML shranite iz ukazne vrstice in v njem iščite:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Rezultat 0 pomeni, da stavka ni v HTML, ki ga je poslal strežnik, zato ga pajki, ki ne izvajajo skriptov, ne bodo našli. Hiter pogled v datoteko pove ostalo: članek, izrisan na strežniku, ima tam celotno besedilo; lupina na strani odjemalca ima prazen korenski element in seznam skriptov.
Katere strani so najbolj ogrožene?
- Enostranske aplikacije, zgrajene z React, Vue, Angular ali Svelte, ki vse izrišejo v brskalniku.
- Strani, ki glavno besedilo po nalaganju pridobijo iz API, na primer podrobnosti izdelka, cene ali ocene.
- Vsebina v zavihkih, harmonikah ali razdelkih „naloži več“, ki se zahteva šele ob kliku.
- Strani za prijavo, plačljivim zidom ali zidom za soglasje, mimo katerih pajek ne more.
- Strani, ki
noindexali kanonični URL nastavijo samo prek JavaScripta. Google opozarja, da lahko izrisovanje v celoti preskoči, ko v izvirnem HTML vidinoindex.
Kako popravim vsebino, ki obstaja samo v JavaScriptu?
Popravek je, da pomembno vsebino pošljete v prvem odgovoru. Izberite najlažjo možnost, ki jo dopušča vaš sklad:
- Izrisovanje na strežniku (SSR): ogrodja, kot so Next.js, Nuxt, SvelteKit in Angular SSR, stran izrišejo na strežniku in jo v brskalniku hidrirajo.
- Statično generiranje ali vnaprejšnje izrisovanje: HTML zgradite ob uvajanju za strani, ki se redko spreminjajo, kot so članki, dokumentacija in pristajalne strani.
- Progresivna izboljšava: besedilo, naslove, povezave, cene in JSON-LD postavite v HTML, JavaScript pa uporabite samo za interakcijo.
- Vključite, kar je pomembno: če zavihki skrivajo vsebino, jo v celoti postavite v HTML in vidnost preklapljajte s CSS ali skriptom, namesto da jo pridobite ob kliku.
Ni vam treba naenkrat predelati cele aplikacije. Začnite s stranmi, za katere želite, da so citirane: članki, dokumentacija, strani izdelkov in cen. Območja računa in nadzorne plošče lahko ostanejo na strani odjemalca, saj so tako ali tako za prijavo.
Pajkom ne strezite drugačne strani kot uporabnikom na podlagi njihovega user agenta. Izrisovanje istega HTML za vse je preprostejše za vzdrževanje in odpravi vsak dvom o prikrivanju (cloaking).
Ali zasloni za prijavo, soglasje in plačljivi zidovi blokirajo tudi pajke UI?
Da. Pajek se ne prijavi, ne klikne pasice s piškotki in ne rešuje izzivov. Anthropic navaja, da njegovi boti ne bodo poskušali obiti CAPTCHA. Če upravljalnik soglasij stran v HTML nadomesti s celozaslonskim prekrivnim slojem ali obiskovalce ob prvem obisku preusmeri na stran za soglasje, pajek namesto vaše vsebine dobi to.
Poskrbite, da javne strani svojo vsebino izrišejo v HTML ne glede na stanje soglasja, pasica pa naj bo prekrivni sloj in ne nadomestek. Strani, za katere želite, da so citirane, ohranite zunaj zidov za prijavo in preverite, da pajek ni preusmerjen na stran za prijavo.
Kako AISeeWhy zazna strani, ki delujejo samo z JavaScriptom?
AISeeWhy prebere začetni HTML tako, kot ga dobi vsak pajek, brez izvajanja skriptov. Ko ima stran skoraj nič vidnega besedila, ima pa korenski element ogrodja in skripte, poroča ugotovitev P1, da vsebina potrebuje JavaScript. Označi tudi preusmeritve, ki pajke pošljejo drugam, kot je stran, ki jo dobi brskalnik.
Popravki za to težavo
- Ni različice v Markdownu za agente UI
- Vsebina strani potrebuje JavaScript
- Cena v oznakah, ne pa v besedilu strani
- Ocene v oznakah, ki jih stran ne prikazuje
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali Googlebot izrisuje JavaScript?
Da. Google pajka HTML, strani postavi v čakalno vrsto za izrisovanje in jih izriše z Chromiumom brez grafičnega vmesnika, ko to dopuščajo viri. Google kljub temu priporoča izrisovanje na strežniku ali vnaprejšnje izrisovanje.
Ali pajki ChatGPT, Claude in Perplexity izvajajo JavaScript?
Dokumentacija o pajkih njihovih ponudnikov tega ne pove. Dokler ponudnik ne navede drugače, predpostavite, da pajek bere začetni HTML, in poskrbite, da je vaša vsebina v njem.
Ali je dinamično izrisovanje za bote dobra zamisel?
Deluje kot začasna rešitev, vendar doda drugo pot izrisovanja, ki jo je treba vzdrževati. Izrisovanje na strežniku ali statični HTML vsem streže isto vsebino in je preprostejša dolgoročna rešitev.
Ali JSON-LD, ki ga doda JavaScript, šteje?
Google ga lahko prebere po izrisovanju, pajki, ki ne izvajajo skriptov, pa ga ne bodo videli. JSON-LD postavite v začetni HTML.
Viri
- Google Search Central: osnove SEO za JavaScript
- Apple: o Applebotu
- OpenAI: pregled pajkov OpenAI
- Anthropic: Ali Anthropic pajka podatke s spleta in kako lahko lastniki spletnih mest pajka blokirajo?
- Perplexity: pajki Perplexity