Ar DI robotai gali perskaityti JavaScript atvaizduojamą turinį?

Paskelbta

Trumpas atsakymas

Dažnai – ne. Googlebot JavaScript atvaizduoja vėlesniame etape, tačiau dauguma DI robotų nedokumentuoja, kad tai daro, o pati Google pažymi, kad ne visi robotai gali vykdyti JavaScript. Jei jūsų tekstas atsiranda tik paleidus skriptus, DI robotas gali gauti tuščią puslapį. Pagrindinį turinį pateikite pradiniame HTML, naudodami atvaizdavimą serveryje arba statinius puslapius.

Vieno puslapio programos ir kliento pusės karkasai yra visur, ir naršyklėje jie atrodo gerai. Robotas, skaitantis tik jūsų serverio siunčiamą HTML, mato ką kita: <div id="root"></div>, kelias script žymas ir mažai teksto arba visai jokio. DI atsakymams tokiame puslapyje nėra ko cituoti.

Šiame puslapyje
  1. Kodėl DI robotai praleidžia JavaScript turinį?
  2. Kaip patikrinti, ką gauna robotas?
  3. Kurie puslapiai labiausiai rizikuoja?
  4. Kaip ištaisyti tik JavaScript turinį?
  5. Ar prisijungimo, sutikimo ir mokamos prieigos ekranai taip pat blokuoja DI robotus?
  6. Kaip AISeeWhy aptinka tik JavaScript puslapius?

Kodėl DI robotai praleidžia JavaScript turinį?

JavaScript vykdymas brangus. Robotas turi atsisiųsti skriptus, paleisti juos naršyklės variklyje ir laukti, kol įsikels duomenys. Google tai daro paieškai: nuskaito, įtraukia puslapius į atvaizdavimo eilę ir atvaizduoja juos su headless Chromium, kai leidžia ištekliai. Vis dėlto Google rekomenduoja atvaizdavimą serveryje arba išankstinį atvaizdavimą, nes jis greitesnis naudotojams ir robotams, ir pažymi, kad ne visi robotai gali vykdyti JavaScript.

OpenAI, Anthropic ir Perplexity savo robotų dokumentacijoje nenurodo, kad jų agentai vykdo JavaScript. Apple teigia, kad Applebot gali atvaizduoti puslapius naršyklėje. Nesant aiškaus teiginio, saugu manyti, kad DI robotai skaito tik pradinį HTML.

Kaip patikrinti, ką gauna robotas?

Žiūrėkite į neapdorotą HTML, o ne į atvaizduotą puslapį. Naršyklės kūrėjo įrankiai rodo DOM po skriptų vykdymo, o tai ne tas, ką gauna robotas. Naudokite view-source arba išsaugokite neapdorotą HTML komandinėje eilutėje ir ieškokite jame:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Rezultatas 0 reiškia, kad sakinio nėra serverio išsiųstame HTML, todėl skriptų nevykdantys robotai jo neras. Greitas žvilgsnis į failą pasako likusią dalį: serveryje atvaizduotame straipsnyje yra visas jo tekstas, o kliento pusės apvalkale – tuščias šakninis elementas ir skriptų sąrašas.

Kurie puslapiai labiausiai rizikuoja?

Kaip ištaisyti tik JavaScript turinį?

Sprendimas – svarbų turinį siųsti pirmajame atsakyme. Pasirinkite lengviausią jūsų technologijų leidžiamą variantą:

Nebūtina iš karto pertvarkyti visos programos. Pradėkite nuo puslapių, kuriuos norite, kad cituotų: straipsnių, dokumentacijos, produktų ir kainų puslapių. Paskyros sritys ir valdymo skydeliai gali likti kliento pusėje, nes jie vis tiek už prisijungimo.

Venkite pateikti robotams kitokį puslapį nei naudotojams pagal jų user agent. Tą patį HTML atvaizduoti visiems paprasčiau prižiūrėti ir išvengiama bet kokių įtarimų dėl maskavimo (cloaking).

Ar prisijungimo, sutikimo ir mokamos prieigos ekranai taip pat blokuoja DI robotus?

Taip. Robotas neprisijungia, nespaudžia slapukų banerio ir nesprendžia patikrinimų. Anthropic teigia, kad jos robotai nebandys apeiti CAPTCHA. Jei sutikimų valdymo įrankis HTML pakeičia puslapį viso ekrano perdanga arba pirmą kartą apsilankančius nukreipia į sutikimo puslapį, robotas gauna tai, o ne jūsų turinį.

Įsitikinkite, kad vieši puslapiai pateikia turinį HTML nepriklausomai nuo sutikimo būsenos, o baneris yra perdanga, o ne pakaitalas. Puslapius, kuriuos norite, kad cituotų, laikykite už prisijungimo sienų ribų ir patikrinkite, ar robotas nenukreipiamas į prisijungimo puslapį.

Kaip AISeeWhy aptinka tik JavaScript puslapius?

AISeeWhy skaito pradinį HTML taip, kaip jį gauna kiekvienas robotas, nevykdydamas skriptų. Kai puslapyje beveik nėra matomo teksto, bet yra karkaso šakninis elementas ir skriptai, jis praneša P1 radinį, kad turiniui reikia JavaScript. Jis taip pat pažymi peradresavimus, nukreipiančius robotus ne į tą puslapį, kurį gauna naršyklė.

Šios problemos pataisymai

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar Googlebot atvaizduoja JavaScript?

Taip. Google nuskaito HTML, įtraukia puslapius į atvaizdavimo eilę ir atvaizduoja juos su headless Chromium, kai leidžia ištekliai. Google vis tiek rekomenduoja atvaizdavimą serveryje arba išankstinį atvaizdavimą.

Ar ChatGPT, Claude ir Perplexity robotai vykdo JavaScript?

Jų tiekėjų robotų dokumentacijoje to nenurodyta. Kol tiekėjas nepasakys kitaip, manykite, kad robotas skaito pradinį HTML, ir įsitikinkite, kad jūsų turinys jame yra.

Ar dinaminis atvaizdavimas robotams – gera idėja?

Kaip laikinas sprendimas jis veikia, bet prideda antrą atvaizdavimo kelią, kurį reikia prižiūrėti. Atvaizdavimas serveryje ar statinis HTML visiems pateikia tą patį turinį ir yra paprastesnis ilgalaikis sprendimas.

Ar JavaScript pridėtas JSON-LD skaitosi?

Google gali jį perskaityti po atvaizdavimo, bet skriptų nevykdantys robotai jo nematys. JSON-LD dėkite į pradinį HTML.

Šaltiniai

Daugiau straipsnių