Kas AI-robotid suudavad lugeda JavaScriptiga renderdatud sisu?
Sageli mitte. Googlebot renderdab JavaScripti hilisemas etapis, kuid enamik AI-roboteid ei dokumenteeri, et nad seda teeksid, ja Google ise märgib, et kõik robotid ei suuda JavaScripti käivitada. Kui sinu tekst ilmub alles pärast skriptide käivitumist, võib AI-robot saada tühja lehe. Serveeri põhisisu esialgses HTML-is serveripoolse renderdamise või staatiliste lehtedega.
Üheleherakendused ja kliendipoolsed raamistikud on kõikjal ning brauseris näevad need head välja. Robot, mis loeb ainult sinu serveri saadetud HTML-i, näeb midagi muud: <div id="root"></div>, paar script-silti ja vähe või üldse mitte teksti. AI-vastuste jaoks pole sellel lehel midagi tsiteerida.
Sellel lehel
Miks AI-robotid JavaScripti sisu ei näe?
JavaScripti käivitamine on kulukas. Robot peab skriptid alla laadima, need brauserimootoris käivitama ja ootama andmete laadimist. Google teeb seda otsingu jaoks: ta roomab, paneb lehed renderdamise järjekorda ja renderdab need peata Chromiumiga, kui ressursse jagub. Isegi nii soovitab Google serveripoolset renderdamist või eelrenderdamist, sest see on kasutajatele ja robotitele kiirem, ning märgib, et kõik robotid ei suuda JavaScripti käivitada.
OpenAI, Anthropic ja Perplexity ei ütle oma robotite dokumentatsioonis, et nende agendid JavaScripti käivitavad. Apple ütleb, et Applebot võib lehti brauseris renderdada. Selge väite puudumisel on AI-robotite puhul kindel eeldada, et nad loevad ainult esialgset HTML-i.
Kuidas kontrollida, mida robot saab?
Vaata toor-HTML-i, mitte renderdatud lehte. Brauseri arendajatööriistad näitavad DOM-i pärast skriptide käivitumist, mis pole see, mida robot saab. Kasuta lähtekoodi vaadet või salvesta toor-HTML käsurealt ja otsi sellest:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Tulemus 0 tähendab, et lauset pole serveri saadetud HTML-is, seega robotid, mis skripte ei käivita, seda ei leia. Kiire pilk failile ütleb ülejäänu: serveris renderdatud artiklil on seal kogu tekst; kliendipoolsel kestal on tühi juurelement ja skriptide loend.
Millised lehed on suurimas ohus?
- React, Vue, Angulari või Sveltega ehitatud üheleherakendused, mis renderdavad kõik brauseris.
- Lehed, mis laadivad oma põhiteksti pärast laadimist API-st, näiteks tooteandmed, hinnad või arvustused.
- Sisu vahekaartidel, akordionites või "laadi veel" jaotistes, mida küsitakse alles klõpsamisel.
- Lehed sisselogimise, maksumüüri või nõusolekuseina taga, millest robot läbi ei pääse.
- Lehed, mis määravad
noindex-i või canonical URL-i ainult JavaScriptiga. Google hoiatab, et kui ta näeb algses HTML-isnoindex-i, võib ta renderdamise täielikult vahele jätta.
Kuidas parandada ainult JavaScriptiga sisu?
Parandus on saata oluline sisu esimeses vastuses. Vali kõige kergem variant, mida sinu tehnoloogiapinu võimaldab:
- Serveripoolne renderdamine (SSR): raamistikud nagu Next.js, Nuxt, SvelteKit ja Angular SSR renderdavad lehe serveris ja hüdreerivad selle brauseris.
- Staatiline genereerimine või eelrenderdamine: ehita HTML juurutamise ajal lehtedele, mis muutuvad harva, nagu artiklid, dokumentatsioon ja maandumislehed.
- Progressiivne täiustamine: pane tekst, pealkirjad, lingid, hinnad ja JSON-LD HTML-i ning kasuta JavaScripti ainult interaktsiooniks.
- Pane oluline otse lehele: kui vahekaardid sisu peidavad, pane see kõik HTML-i ja lülita nähtavust CSS-i või skriptiga, selle asemel et seda klõpsamisel laadida.
Kogu rakendust pole vaja korraga ümber teha. Alusta lehtedest, millele soovid viiteid: artiklid, dokumentatsioon, toote- ja hinnalehed. Konto alad ja juhtpaneelid võivad jääda kliendipoolseks, sest need on niikuinii sisselogimise taga.
Väldi robotitele user agent'i põhjal kasutajatest erineva lehe serveerimist. Kõigile sama HTML-i renderdamine on lihtsam hallata ja välistab igasuguse kahtluse varjamise (cloaking) suhtes.
Kas sisselogimis-, nõusoleku- ja maksumüüri ekraanid blokeerivad ka AI-roboteid?
Jah. Robot ei logi sisse, ei klõpsa küpsiste bänneril ega lahenda kontrolle. Anthropic ütleb, et tema robotid ei püüa CAPTCHA-sid vältida. Kui nõusolekuhaldur asendab HTML-is lehe täisekraani kattekihiga või suunab esmakülastajad nõusolekulehele, saab robot selle sinu sisu asemel.
Veendu, et avalikud lehed renderdavad oma sisu HTML-is olenemata nõusoleku olekust, kusjuures bänner on kattekiht, mitte asendus. Hoia lehed, millele soovid viiteid, sisselogimise seinast väljaspool ja kontrolli, et robotit ei suunata sisselogimislehele.
Kuidas AISeeWhy ainult JavaScriptiga lehti tuvastab?
AISeeWhy loeb esialgset HTML-i nii, nagu iga robot selle saab, skripte käivitamata. Kui lehel pole peaaegu üldse nähtavat teksti, kuid on raamistiku juurelement ja skriptid, annab see P1 leiu, et sisu vajab JavaScripti. Samuti märgib see ümbersuunamised, mis saadavad robotid mujale kui lehele, mille saab brauser.
Selle probleemi parandused
- AI-agentidele pole Markdown-versiooni
- Lehe sisu vajab JavaScripti
- Hind on märgenduses, aga mitte lehe tekstis
- Märgenduses olevad hinnangud, mida leht ei näita
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas Googlebot renderdab JavaScripti?
Jah. Google roomab HTML-i, paneb lehed renderdamise järjekorda ja renderdab need peata Chromiumiga, kui ressursse jagub. Google soovitab siiski serveripoolset renderdamist või eelrenderdamist.
Kas ChatGPT, Claude'i ja Perplexity robotid käivitavad JavaScripti?
Nende pakkujate robotite dokumentatsioon seda ei ütle. Kuni pakkuja ei väida teisiti, eelda, et robot loeb esialgset HTML-i, ja veendu, et sinu sisu on seal.
Kas dünaamiline renderdamine robotitele on hea mõte?
See toimib ajutise lahendusena, kuid lisab teise renderdamistee, mida tuleb hallata. Serveripoolne renderdamine või staatiline HTML serveerib kõigile sama sisu ja on pikemas plaanis lihtsam lahendus.
Kas JavaScriptiga lisatud JSON-LD läheb arvesse?
Google saab seda pärast renderdamist lugeda, kuid robotid, mis skripte ei käivita, seda ei näe. Pane JSON-LD esialgsesse HTML-i.
Allikad
- Google Search Central: JavaScript SEO basics
- Apple: About Applebot
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers