Nababasa ba ng mga AI crawler ang content na nire-render ng JavaScript?
Madalas hindi. Nire-render ng Googlebot ang JavaScript sa isang susunod na hakbang, pero hindi inilalarawan ng karamihan sa mga AI crawler na ginagawa nila ito, at binabanggit mismo ng Google na hindi lahat ng bot ay kayang magpatakbo ng JavaScript. Kung lumalabas lang ang text mo pagkatapos tumakbo ang mga script, maaaring walang lamang pahina ang makuha ng AI crawler. Ipadala ang pangunahing content sa unang HTML gamit ang server-side rendering o mga static page.
Nasa lahat ng dako ang mga single-page app at client-side framework, at maayos ang hitsura nila sa browser. Iba ang nakikita ng crawler na HTML lang na ipinapadala ng server mo ang binabasa: isang <div id="root"></div>, ilang script tag at kaunti o walang text. Para sa mga sagot ng AI, walang masisipi sa pahinang iyon.
Sa pahinang ito
- Bakit hindi nakikita ng mga AI crawler ang content na gawa sa JavaScript?
- Paano ko masusuri kung ano ang nakukuha ng crawler?
- Aling mga pahina ang pinakananganganib?
- Paano ko aayusin ang content na JavaScript lang ang naglalabas?
- Bina-block din ba ng mga screen ng login, consent at paywall ang mga AI crawler?
- Paano natutukoy ng AISeeWhy ang mga pahinang JavaScript lang ang laman?
Bakit hindi nakikita ng mga AI crawler ang content na gawa sa JavaScript?
Magastos ang pagpapatakbo ng JavaScript. Kailangang i-download ng crawler ang mga script, patakbuhin ang mga ito sa isang browser engine at hintaying mag-load ang data. Ginagawa ito ng Google para sa Search: nagka-crawl ito, inilalagay sa pila ang mga pahina para sa rendering, at nire-render ang mga ito gamit ang headless Chromium kapag may sapat na resources. Gayunman, inirerekomenda ng Google ang server-side rendering o prerendering dahil mas mabilis ito para sa mga user at crawler, at binabanggit nitong hindi lahat ng bot ay kayang magpatakbo ng JavaScript.
Hindi sinasabi ng OpenAI, Anthropic at Perplexity sa dokumentasyon ng crawler nila na nagpapatakbo ng JavaScript ang mga agent nila. Sinasabi ng Apple na maaaring i-render ng Applebot ang mga pahina sa isang browser. Kung walang malinaw na pahayag, ang ligtas na palagay para sa mga AI crawler ay unang HTML lang ang binabasa nila.
Paano ko masusuri kung ano ang nakukuha ng crawler?
Tingnan ang raw HTML, hindi ang na-render na pahina. Ipinapakita ng developer tools ng browser ang DOM pagkatapos tumakbo ang mga script, na hindi ang nakukuha ng crawler. Gamitin ang view-source, o i-save ang raw HTML mula sa command line at hanapin dito:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Kung 0 ang resulta, wala ang pangungusap sa HTML na ipinadala ng server, kaya hindi ito mahahanap ng mga crawler na hindi nagpapatakbo ng script. Ang mabilis na pagtingin sa file ang magsasabi ng iba pa: nandoon ang buong text ng artikulong nire-render sa server; walang lamang root element at listahan ng mga script ang client-side shell.
Aling mga pahina ang pinakananganganib?
- Mga single-page app na gawa sa React, Vue, Angular o Svelte na nire-render ang lahat sa browser.
- Mga pahinang kumukuha ng pangunahing text nila mula sa isang API pagkatapos mag-load, gaya ng mga detalye ng produkto, presyo o review.
- Content sa loob ng mga tab, accordion o seksyong "load more" na nire-request lang kapag na-click.
- Mga pahinang nasa likod ng login, paywall o consent wall na hindi malalampasan ng crawler.
- Mga pahinang nagtatakda ng
noindexo ng canonical URL sa pamamagitan lang ng JavaScript. Nagbababala ang Google na kapag nakita nito angnoindexsa orihinal na HTML, maaari nitong tuluyang laktawan ang rendering.
Paano ko aayusin ang content na JavaScript lang ang naglalabas?
Ang ayos ay ipadala ang mahalagang content sa unang sagot. Piliin ang pinakamagaang opsyon na pinapayagan ng stack mo:
- Server-side rendering (SSR): nire-render ng mga framework gaya ng Next.js, Nuxt, SvelteKit at Angular SSR ang pahina sa server at hina-hydrate ito sa browser.
- Static generation o prerendering: buuin ang HTML sa oras ng deploy para sa mga pahinang bihirang magbago, gaya ng mga artikulo, docs at landing page.
- Progressive enhancement: ilagay ang text, mga heading, link, presyo at JSON-LD sa HTML at gamitin ang JavaScript para lang sa interaksyon.
- Isama sa HTML ang mahalaga: kung nagtatago ng content ang mga tab, ilagay ang lahat sa HTML at i-toggle ang visibility gamit ang CSS o script, sa halip na kunin ito kapag na-click.
Hindi mo kailangang i-convert ang buong app nang sabay-sabay. Magsimula sa mga pahinang gusto mong masipi: mga artikulo, dokumentasyon, mga pahina ng produkto at presyo. Puwedeng manatiling client-side ang mga account area at dashboard, dahil nasa likod naman sila ng login.
Iwasang magbigay sa mga crawler ng pahinang iba sa nakukuha ng mga user batay sa user agent nila. Mas simpleng panatilihin ang pag-render ng parehong HTML para sa lahat at iniiwasan nito ang anumang hinala ng cloaking.
Bina-block din ba ng mga screen ng login, consent at paywall ang mga AI crawler?
Oo. Hindi nagla-log in ang crawler, hindi nagki-click ng cookie banner at hindi lumulutas ng mga challenge. Sinasabi ng Anthropic na hindi susubukan ng mga bot nito na lampasan ang mga CAPTCHA. Kung pinapalitan ng consent manager ang pahina ng isang full-screen overlay sa HTML, o nire-redirect ang mga unang beses na bisita sa isang consent page, iyon ang makukuha ng crawler sa halip na content mo.
Tiyaking nire-render ng mga pampublikong pahina ang content nila sa HTML anuman ang estado ng consent, na overlay ang banner sa halip na pamalit. Panatilihin sa labas ng mga login wall ang mga pahinang gusto mong masipi, at tiyaking hindi nire-redirect ang crawler sa isang sign-in page.
Paano natutukoy ng AISeeWhy ang mga pahinang JavaScript lang ang laman?
Binabasa ng AISeeWhy ang unang HTML gaya ng pagkuha rito ng bawat crawler, nang hindi nagpapatakbo ng mga script. Kapag halos walang nakikitang text ang isang pahina pero may framework root element at mga script, nag-uulat ito ng P1 na natuklasan na kailangan ng content ang JavaScript. Minamarkahan din nito ang mga redirect na nagpapadala sa mga crawler sa ibang lugar kaysa sa pahinang nakukuha ng browser.
Mga ayos para sa problemang ito
- Walang Markdown na bersyon para sa mga AI agent
- Kailangan ng JavaScript ang content ng pahina
- May presyo sa markup pero wala sa teksto ng pahina
- May rating sa markup na hindi ipinapakita ng pahina
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Nire-render ba ng Googlebot ang JavaScript?
Oo. Nagka-crawl ang Google ng HTML, inilalagay sa pila ang mga pahina para sa rendering at nire-render ang mga ito gamit ang headless Chromium kapag may sapat na resources. Inirerekomenda pa rin ng Google ang server-side rendering o prerendering.
Nagpapatakbo ba ng JavaScript ang mga crawler ng ChatGPT, Claude at Perplexity?
Hindi ito sinasabi ng dokumentasyon ng crawler ng mga vendor nila. Hangga't walang vendor na nagsasabi ng iba, ipagpalagay na unang HTML ang binabasa ng crawler at tiyaking nandoon ang content mo.
Magandang ideya ba ang dynamic rendering para sa mga bot?
Gumagana ito bilang pansamantalang solusyon pero nagdadagdag ng pangalawang rendering path na kailangang panatilihin. Ibinibigay ng server-side rendering o static HTML ang parehong content sa lahat at ito ang mas simpleng pangmatagalang ayos.
Bilang ba ang JSON-LD na idinagdag ng JavaScript?
Nababasa ito ng Google pagkatapos ng rendering, pero hindi ito makikita ng mga crawler na hindi nagpapatakbo ng script. Ilagay ang JSON-LD sa unang HTML.
Mga pinagmulan
- Google Search Central: JavaScript SEO basics
- Apple: About Applebot
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers