Ar DI robotai gali perskaityti JavaScript atvaizduojamą turinį?
Dažnai – ne. Googlebot JavaScript atvaizduoja vėlesniame etape, tačiau dauguma DI robotų nedokumentuoja, kad tai daro, o pati Google pažymi, kad ne visi robotai gali vykdyti JavaScript. Jei jūsų tekstas atsiranda tik paleidus skriptus, DI robotas gali gauti tuščią puslapį. Pagrindinį turinį pateikite pradiniame HTML, naudodami atvaizdavimą serveryje arba statinius puslapius.
Vieno puslapio programos ir kliento pusės karkasai yra visur, ir naršyklėje jie atrodo gerai. Robotas, skaitantis tik jūsų serverio siunčiamą HTML, mato ką kita: <div id="root"></div>, kelias script žymas ir mažai teksto arba visai jokio. DI atsakymams tokiame puslapyje nėra ko cituoti.
Šiame puslapyje
Kodėl DI robotai praleidžia JavaScript turinį?
JavaScript vykdymas brangus. Robotas turi atsisiųsti skriptus, paleisti juos naršyklės variklyje ir laukti, kol įsikels duomenys. Google tai daro paieškai: nuskaito, įtraukia puslapius į atvaizdavimo eilę ir atvaizduoja juos su headless Chromium, kai leidžia ištekliai. Vis dėlto Google rekomenduoja atvaizdavimą serveryje arba išankstinį atvaizdavimą, nes jis greitesnis naudotojams ir robotams, ir pažymi, kad ne visi robotai gali vykdyti JavaScript.
OpenAI, Anthropic ir Perplexity savo robotų dokumentacijoje nenurodo, kad jų agentai vykdo JavaScript. Apple teigia, kad Applebot gali atvaizduoti puslapius naršyklėje. Nesant aiškaus teiginio, saugu manyti, kad DI robotai skaito tik pradinį HTML.
Kaip patikrinti, ką gauna robotas?
Žiūrėkite į neapdorotą HTML, o ne į atvaizduotą puslapį. Naršyklės kūrėjo įrankiai rodo DOM po skriptų vykdymo, o tai ne tas, ką gauna robotas. Naudokite view-source arba išsaugokite neapdorotą HTML komandinėje eilutėje ir ieškokite jame:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Rezultatas 0 reiškia, kad sakinio nėra serverio išsiųstame HTML, todėl skriptų nevykdantys robotai jo neras. Greitas žvilgsnis į failą pasako likusią dalį: serveryje atvaizduotame straipsnyje yra visas jo tekstas, o kliento pusės apvalkale – tuščias šakninis elementas ir skriptų sąrašas.
Kurie puslapiai labiausiai rizikuoja?
- Vieno puslapio programos, sukurtos su React, Vue, Angular ar Svelte, viską atvaizduojančios naršyklėje.
- Puslapiai, kurie pagrindinį tekstą atsisiunčia iš API po įkėlimo, pvz., produkto informaciją, kainas ar atsiliepimus.
- Turinys skirtukuose, išskleidžiamuose blokuose ar „rodyti daugiau“ skiltyse, užklausiamas tik paspaudus.
- Puslapiai už prisijungimo, mokamos prieigos ar sutikimo sienos, kurios robotas negali įveikti.
- Puslapiai, kurie
noindexar kanoninį URL nustato tik per JavaScript. Google įspėja, kad pamačiusinoindexpradiniame HTML ji gali visiškai praleisti atvaizdavimą.
Kaip ištaisyti tik JavaScript turinį?
Sprendimas – svarbų turinį siųsti pirmajame atsakyme. Pasirinkite lengviausią jūsų technologijų leidžiamą variantą:
- Atvaizdavimas serveryje (SSR): karkasai, pvz., Next.js, Nuxt, SvelteKit ir Angular SSR, atvaizduoja puslapį serveryje ir hidratuoja jį naršyklėje.
- Statinis generavimas ar išankstinis atvaizdavimas: HTML sukurkite diegimo metu retai besikeičiantiems puslapiams, pvz., straipsniams, dokumentacijai ir nukreipimo puslapiams.
- Progresyvus tobulinimas: tekstą, antraštes, nuorodas, kainas ir JSON-LD dėkite į HTML, o JavaScript naudokite tik sąveikai.
- Įterpkite tai, kas svarbu: jei skirtukai slepia turinį, visą jį dėkite į HTML ir matomumą perjunkite CSS ar skriptu, užuot atsisiuntę paspaudus.
Nebūtina iš karto pertvarkyti visos programos. Pradėkite nuo puslapių, kuriuos norite, kad cituotų: straipsnių, dokumentacijos, produktų ir kainų puslapių. Paskyros sritys ir valdymo skydeliai gali likti kliento pusėje, nes jie vis tiek už prisijungimo.
Venkite pateikti robotams kitokį puslapį nei naudotojams pagal jų user agent. Tą patį HTML atvaizduoti visiems paprasčiau prižiūrėti ir išvengiama bet kokių įtarimų dėl maskavimo (cloaking).
Ar prisijungimo, sutikimo ir mokamos prieigos ekranai taip pat blokuoja DI robotus?
Taip. Robotas neprisijungia, nespaudžia slapukų banerio ir nesprendžia patikrinimų. Anthropic teigia, kad jos robotai nebandys apeiti CAPTCHA. Jei sutikimų valdymo įrankis HTML pakeičia puslapį viso ekrano perdanga arba pirmą kartą apsilankančius nukreipia į sutikimo puslapį, robotas gauna tai, o ne jūsų turinį.
Įsitikinkite, kad vieši puslapiai pateikia turinį HTML nepriklausomai nuo sutikimo būsenos, o baneris yra perdanga, o ne pakaitalas. Puslapius, kuriuos norite, kad cituotų, laikykite už prisijungimo sienų ribų ir patikrinkite, ar robotas nenukreipiamas į prisijungimo puslapį.
Kaip AISeeWhy aptinka tik JavaScript puslapius?
AISeeWhy skaito pradinį HTML taip, kaip jį gauna kiekvienas robotas, nevykdydamas skriptų. Kai puslapyje beveik nėra matomo teksto, bet yra karkaso šakninis elementas ir skriptai, jis praneša P1 radinį, kad turiniui reikia JavaScript. Jis taip pat pažymi peradresavimus, nukreipiančius robotus ne į tą puslapį, kurį gauna naršyklė.
Šios problemos pataisymai
- Nėra Markdown versijos DI agentams
- Puslapio turiniui reikia JavaScript
- Kaina žymėjime, bet ne puslapio tekste
- Žymėjime nurodyti įvertinimai, kurių puslapis nerodo
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Ar Googlebot atvaizduoja JavaScript?
Taip. Google nuskaito HTML, įtraukia puslapius į atvaizdavimo eilę ir atvaizduoja juos su headless Chromium, kai leidžia ištekliai. Google vis tiek rekomenduoja atvaizdavimą serveryje arba išankstinį atvaizdavimą.
Ar ChatGPT, Claude ir Perplexity robotai vykdo JavaScript?
Jų tiekėjų robotų dokumentacijoje to nenurodyta. Kol tiekėjas nepasakys kitaip, manykite, kad robotas skaito pradinį HTML, ir įsitikinkite, kad jūsų turinys jame yra.
Ar dinaminis atvaizdavimas robotams – gera idėja?
Kaip laikinas sprendimas jis veikia, bet prideda antrą atvaizdavimo kelią, kurį reikia prižiūrėti. Atvaizdavimas serveryje ar statinis HTML visiems pateikia tą patį turinį ir yra paprastesnis ilgalaikis sprendimas.
Ar JavaScript pridėtas JSON-LD skaitosi?
Google gali jį perskaityti po atvaizdavimo, bet skriptų nevykdantys robotai jo nematys. JSON-LD dėkite į pradinį HTML.
Šaltiniai
- Google Search Central: JavaScript SEO pagrindai
- Apple: Apie Applebot
- OpenAI: OpenAI robotų apžvalga
- Anthropic: Ar Anthropic renka duomenis iš interneto ir kaip svetainių savininkai gali užblokuoti robotą?
- Perplexity: Perplexity robotai