Vai MI rāpuļprogrammas var nolasīt ar JavaScript renderētu saturu?
Bieži ne. Googlebot renderē JavaScript vēlākā solī, bet lielākā daļa MI rāpuļprogrammu nedokumentē, ka to dara, un pati Google atzīmē, ka ne visi roboti var izpildīt JavaScript. Ja jūsu teksts parādās tikai pēc skriptu izpildes, MI rāpuļprogramma var saņemt tukšu lapu. Izsniedziet galveno saturu sākotnējā HTML ar servera puses renderēšanu vai statiskām lapām.
Vienas lapas lietotnes un klienta puses ietvari ir visur, un pārlūkā tie izskatās labi. Rāpuļprogramma, kas lasa tikai servera nosūtīto HTML, redz ko citu: <div id="root"></div>, dažus skripta tagus un maz vai nemaz teksta. MI atbildēm šajā lapā nav ko citēt.
Šajā lapā
- Kāpēc MI rāpuļprogrammas palaiž garām JavaScript saturu?
- Kā pārbaudīt, ko saņem rāpuļprogramma?
- Kuras lapas ir visvairāk apdraudētas?
- Kā labot saturu, kas pieejams tikai ar JavaScript?
- Vai pieteikšanās, piekrišanas un maksas sienas ekrāni arī bloķē MI rāpuļprogrammas?
- Kā AISeeWhy atklāj lapas, kas darbojas tikai ar JavaScript?
Kāpēc MI rāpuļprogrammas palaiž garām JavaScript saturu?
JavaScript izpilde ir dārga. Rāpuļprogrammai jālejupielādē skripti, jāizpilda tie pārlūka dzinējā un jāgaida datu ielāde. Google to dara meklēšanai: tā apstaigā lapas, ievieto tās renderēšanas rindā un renderē ar headless Chromium, kad resursi to ļauj. Tomēr Google iesaka servera puses renderēšanu vai priekšrenderēšanu, jo tā ir ātrāka lietotājiem un rāpuļprogrammām, un atzīmē, ka ne visi roboti var izpildīt JavaScript.
OpenAI, Anthropic un Perplexity savā rāpuļprogrammu dokumentācijā nenorāda, ka to aģenti izpilda JavaScript. Apple norāda, ka Applebot var renderēt lapas pārlūkā. Bez skaidra apgalvojuma drošs pieņēmums MI rāpuļprogrammām ir, ka tās lasa tikai sākotnējo HTML.
Kā pārbaudīt, ko saņem rāpuļprogramma?
Skatieties neapstrādāto HTML, nevis renderēto lapu. Pārlūka izstrādātāja rīki rāda DOM pēc skriptu izpildes, un tas nav tas, ko saņem rāpuļprogramma. Izmantojiet lapas avota skatu vai saglabājiet neapstrādāto HTML no komandrindas un meklējiet tajā:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Rezultāts 0 nozīmē, ka teikuma nav servera nosūtītajā HTML, tāpēc rāpuļprogrammas, kas neizpilda skriptus, to neatradīs. Ātrs ieskats failā pasaka pārējo: servera pusē renderētam rakstam tur ir viss teksts; klienta puses čaulai ir tukšs saknes elements un skriptu saraksts.
Kuras lapas ir visvairāk apdraudētas?
- Vienas lapas lietotnes, kas veidotas ar React, Vue, Angular vai Svelte un visu renderē pārlūkā.
- Lapas, kas galveno tekstu ielādē no API pēc ielādes, piemēram, produkta informāciju, cenas vai atsauksmes.
- Saturs cilnēs, akordeonos vai sadaļās “ielādēt vairāk”, kas tiek pieprasīts tikai pēc klikšķa.
- Lapas aiz pieteikšanās, maksas sienas vai piekrišanas sienas, ko rāpuļprogramma nevar pārvarēt.
- Lapas, kas
noindexvai canonical URL iestata tikai ar JavaScript. Google brīdina, ka, ieraugotnoindexsākotnējā HTML, tā var pilnībā izlaist renderēšanu.
Kā labot saturu, kas pieejams tikai ar JavaScript?
Labojums ir nosūtīt svarīgo saturu pirmajā atbildē. Izvēlieties vieglāko variantu, ko atļauj jūsu tehnoloģijas:
- Servera puses renderēšana (SSR): ietvari, piemēram, Next.js, Nuxt, SvelteKit un Angular SSR, renderē lapu serverī un hidratē to pārlūkā.
- Statiska ģenerēšana vai priekšrenderēšana: veidojiet HTML izvietošanas laikā lapām, kas mainās reti, piemēram, rakstiem, dokumentācijai un galvenajām lapām.
- Progresīvā uzlabošana: ievietojiet tekstu, virsrakstus, saites, cenas un JSON-LD HTML un izmantojiet JavaScript tikai mijiedarbībai.
- Iekļaujiet svarīgo uzreiz: ja cilnes slēpj saturu, ievietojiet to visu HTML un pārslēdziet redzamību ar CSS vai skriptu, nevis ielādējiet pēc klikšķa.
Nav jāpārveido visa lietotne uzreiz. Sāciet ar lapām, kuras vēlaties redzēt citētas: rakstiem, dokumentāciju, produktu un cenu lapām. Konta sadaļas un informācijas paneļi var palikt klienta pusē, jo tie tik un tā ir aiz pieteikšanās.
Neizsniedziet rāpuļprogrammām citu lapu nekā lietotājiem, balstoties uz user-agent. Viena un tā paša HTML renderēšanu visiem ir vienkāršāk uzturēt, un tā novērš jebkādas aizdomas par maskēšanu (cloaking).
Vai pieteikšanās, piekrišanas un maksas sienas ekrāni arī bloķē MI rāpuļprogrammas?
Jā. Rāpuļprogramma nepiesakās, neklikšķina uz sīkdatņu baneriem un nerisina pārbaudes. Anthropic norāda, ka tās roboti nemēģinās apiet CAPTCHA. Ja piekrišanas pārvaldnieks HTML aizstāj lapu ar pilnekrāna pārklājumu vai pirmreizējos apmeklētājus pāradresē uz piekrišanas lapu, rāpuļprogramma saņem to, nevis jūsu saturu.
Pārliecinieties, ka publiskās lapas renderē savu saturu HTML neatkarīgi no piekrišanas stāvokļa, ar baneri kā pārklājumu, nevis aizstājēju. Turiet lapas, kuras vēlaties redzēt citētas, ārpus pieteikšanās sienām un pārbaudiet, vai rāpuļprogramma netiek pāradresēta uz pieteikšanās lapu.
Kā AISeeWhy atklāj lapas, kas darbojas tikai ar JavaScript?
AISeeWhy nolasa sākotnējo HTML tā, kā to saņem katra rāpuļprogramma, neizpildot skriptus. Ja lapā gandrīz nav redzama teksta, bet ir ietvara saknes elements un skripti, tā ziņo P1 konstatējumu, ka saturam vajadzīgs JavaScript. Tā arī atzīmē pāradresācijas, kas sūta rāpuļprogrammas citur, nevis uz lapu, ko saņem pārlūks.
Labojumi šai problēmai
- Nav Markdown versijas MI aģentiem
- Lapas saturam vajadzīgs JavaScript
- Cena marķējumā, bet ne lapas tekstā
- Marķējumā norādīti vērtējumi, ko lapa nerāda
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai Googlebot renderē JavaScript?
Jā. Google apstaigā HTML, ievieto lapas renderēšanas rindā un renderē tās ar headless Chromium, kad resursi to ļauj. Google tomēr iesaka servera puses renderēšanu vai priekšrenderēšanu.
Vai ChatGPT, Claude un Perplexity rāpuļprogrammas izpilda JavaScript?
To piegādātāju rāpuļprogrammu dokumentācijā tas nav teikts. Kamēr piegādātājs nenorāda citādi, pieņemiet, ka rāpuļprogramma lasa sākotnējo HTML, un pārliecinieties, ka jūsu saturs ir tajā.
Vai dinamiskā renderēšana robotiem ir laba ideja?
Tā der kā pagaidu risinājums, bet pievieno otru renderēšanas ceļu, kas jāuztur. Servera puses renderēšana vai statisks HTML izsniedz visiem to pašu saturu un ir vienkāršāks ilgtermiņa labojums.
Vai JSON-LD, ko pievieno JavaScript, tiek ņemts vērā?
Google to var nolasīt pēc renderēšanas, bet rāpuļprogrammas, kas neizpilda skriptus, to neredzēs. Ievietojiet JSON-LD sākotnējā HTML.
Avoti
- Google Search Central: JavaScript SEO pamati
- Apple: Par Applebot
- OpenAI: OpenAI rāpuļprogrammu pārskats
- Anthropic: Vai Anthropic vāc datus no tīmekļa, un kā vietņu īpašnieki var bloķēt rāpuļprogrammu?
- Perplexity: Perplexity rāpuļprogrammas