Kas AI-robotid suudavad lugeda JavaScriptiga renderdatud sisu?

Avaldatud

Lühike vastus

Sageli mitte. Googlebot renderdab JavaScripti hilisemas etapis, kuid enamik AI-roboteid ei dokumenteeri, et nad seda teeksid, ja Google ise märgib, et kõik robotid ei suuda JavaScripti käivitada. Kui sinu tekst ilmub alles pärast skriptide käivitumist, võib AI-robot saada tühja lehe. Serveeri põhisisu esialgses HTML-is serveripoolse renderdamise või staatiliste lehtedega.

Üheleherakendused ja kliendipoolsed raamistikud on kõikjal ning brauseris näevad need head välja. Robot, mis loeb ainult sinu serveri saadetud HTML-i, näeb midagi muud: <div id="root"></div>, paar script-silti ja vähe või üldse mitte teksti. AI-vastuste jaoks pole sellel lehel midagi tsiteerida.

Sellel lehel
  1. Miks AI-robotid JavaScripti sisu ei näe?
  2. Kuidas kontrollida, mida robot saab?
  3. Millised lehed on suurimas ohus?
  4. Kuidas parandada ainult JavaScriptiga sisu?
  5. Kas sisselogimis-, nõusoleku- ja maksumüüri ekraanid blokeerivad ka AI-roboteid?
  6. Kuidas AISeeWhy ainult JavaScriptiga lehti tuvastab?

Miks AI-robotid JavaScripti sisu ei näe?

JavaScripti käivitamine on kulukas. Robot peab skriptid alla laadima, need brauserimootoris käivitama ja ootama andmete laadimist. Google teeb seda otsingu jaoks: ta roomab, paneb lehed renderdamise järjekorda ja renderdab need peata Chromiumiga, kui ressursse jagub. Isegi nii soovitab Google serveripoolset renderdamist või eelrenderdamist, sest see on kasutajatele ja robotitele kiirem, ning märgib, et kõik robotid ei suuda JavaScripti käivitada.

OpenAI, Anthropic ja Perplexity ei ütle oma robotite dokumentatsioonis, et nende agendid JavaScripti käivitavad. Apple ütleb, et Applebot võib lehti brauseris renderdada. Selge väite puudumisel on AI-robotite puhul kindel eeldada, et nad loevad ainult esialgset HTML-i.

Kuidas kontrollida, mida robot saab?

Vaata toor-HTML-i, mitte renderdatud lehte. Brauseri arendajatööriistad näitavad DOM-i pärast skriptide käivitumist, mis pole see, mida robot saab. Kasuta lähtekoodi vaadet või salvesta toor-HTML käsurealt ja otsi sellest:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Tulemus 0 tähendab, et lauset pole serveri saadetud HTML-is, seega robotid, mis skripte ei käivita, seda ei leia. Kiire pilk failile ütleb ülejäänu: serveris renderdatud artiklil on seal kogu tekst; kliendipoolsel kestal on tühi juurelement ja skriptide loend.

Millised lehed on suurimas ohus?

Kuidas parandada ainult JavaScriptiga sisu?

Parandus on saata oluline sisu esimeses vastuses. Vali kõige kergem variant, mida sinu tehnoloogiapinu võimaldab:

Kogu rakendust pole vaja korraga ümber teha. Alusta lehtedest, millele soovid viiteid: artiklid, dokumentatsioon, toote- ja hinnalehed. Konto alad ja juhtpaneelid võivad jääda kliendipoolseks, sest need on niikuinii sisselogimise taga.

Väldi robotitele user agent'i põhjal kasutajatest erineva lehe serveerimist. Kõigile sama HTML-i renderdamine on lihtsam hallata ja välistab igasuguse kahtluse varjamise (cloaking) suhtes.

Kas sisselogimis-, nõusoleku- ja maksumüüri ekraanid blokeerivad ka AI-roboteid?

Jah. Robot ei logi sisse, ei klõpsa küpsiste bänneril ega lahenda kontrolle. Anthropic ütleb, et tema robotid ei püüa CAPTCHA-sid vältida. Kui nõusolekuhaldur asendab HTML-is lehe täisekraani kattekihiga või suunab esmakülastajad nõusolekulehele, saab robot selle sinu sisu asemel.

Veendu, et avalikud lehed renderdavad oma sisu HTML-is olenemata nõusoleku olekust, kusjuures bänner on kattekiht, mitte asendus. Hoia lehed, millele soovid viiteid, sisselogimise seinast väljaspool ja kontrolli, et robotit ei suunata sisselogimislehele.

Kuidas AISeeWhy ainult JavaScriptiga lehti tuvastab?

AISeeWhy loeb esialgset HTML-i nii, nagu iga robot selle saab, skripte käivitamata. Kui lehel pole peaaegu üldse nähtavat teksti, kuid on raamistiku juurelement ja skriptid, annab see P1 leiu, et sisu vajab JavaScripti. Samuti märgib see ümbersuunamised, mis saadavad robotid mujale kui lehele, mille saab brauser.

Selle probleemi parandused

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas Googlebot renderdab JavaScripti?

Jah. Google roomab HTML-i, paneb lehed renderdamise järjekorda ja renderdab need peata Chromiumiga, kui ressursse jagub. Google soovitab siiski serveripoolset renderdamist või eelrenderdamist.

Kas ChatGPT, Claude'i ja Perplexity robotid käivitavad JavaScripti?

Nende pakkujate robotite dokumentatsioon seda ei ütle. Kuni pakkuja ei väida teisiti, eelda, et robot loeb esialgset HTML-i, ja veendu, et sinu sisu on seal.

Kas dünaamiline renderdamine robotitele on hea mõte?

See toimib ajutise lahendusena, kuid lisab teise renderdamistee, mida tuleb hallata. Serveripoolne renderdamine või staatiline HTML serveerib kõigile sama sisu ja on pikemas plaanis lihtsam lahendus.

Kas JavaScriptiga lisatud JSON-LD läheb arvesse?

Google saab seda pärast renderdamist lugeda, kuid robotid, mis skripte ei käivita, seda ei näe. Pane JSON-LD esialgsesse HTML-i.

Allikad

Veel artikleid