Да ли AI краулери могу да читају садржај који рендерује JavaScript?
Често не могу. Googlebot рендерује JavaScript у каснијем кораку, али већина AI краулера не документује да то ради, а и сам Google напомиње да не могу сви ботови да покрећу JavaScript. Ако се ваш текст појављује тек када се покрену скрипте, AI краулер може да добије празну страницу. Главни садржај послужите у почетном HTML-у помоћу рендеровања на серверу или статичких страница.
Апликације са једном страницом и клијентски фрејмворци су свуда и у прегледачу изгледају добро. Краулер који чита само HTML који шаље ваш сервер види нешто друго: <div id="root"></div>, неколико script ознака и мало текста или нимало. За AI одговоре таква страница нема шта да понуди за цитирање.
На овој страници
- Зашто AI краулерима промиче садржај из JavaScript-а?
- Како да проверим шта краулер добија?
- Које странице су најугроженије?
- Како да исправим садржај који постоји само у JavaScript-у?
- Да ли екрани за пријаву, пристанак и наплатни зидови такође блокирају AI краулере?
- Како AISeeWhy открива странице које постоје само у JavaScript-у?
Зашто AI краулерима промиче садржај из JavaScript-а?
Покретање JavaScript-а је скупо. Краулер мора да преузме скрипте, изврши их у механизму прегледача и сачека да се подаци учитају. Google то ради за претрагу: обилази странице, ставља их у ред за рендеровање и рендерује их помоћу headless Chromium-а када ресурси то дозволе. Ипак, Google препоручује рендеровање на серверу или унапред рендеровање јер је брже за кориснике и краулере, и напомиње да не могу сви ботови да покрећу JavaScript.
OpenAI, Anthropic и Perplexity у својој документацији о краулерима не наводе да њихови агенти извршавају JavaScript. Apple каже да Applebot може да рендерује странице у прегледачу. Без јасне изјаве, безбедна претпоставка за AI краулере је да читају само почетни HTML.
Како да проверим шта краулер добија?
Гледајте сирови HTML, а не рендеровану страницу. Алатке за програмере у прегледачу приказују DOM након што су се скрипте извршиле, а то није оно што краулер добија. Користите приказ изворног кода или сачувајте сирови HTML из командне линије и претражите га:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Резултат 0 значи да реченица није у HTML-у који је сервер послао, па је краулери који не покрећу скрипте неће пронаћи. Брз поглед на фајл говори остало: чланак рендерован на серверу ту има цео текст; клијентска љуска има празан коренски елемент и листу скрипти.
Које странице су најугроженије?
- Апликације са једном страницом направљене у React-у, Vue-у, Angular-у или Svelte-у које све рендерују у прегледачу.
- Странице које свој главни текст преузимају са API-ја након учитавања, као што су детаљи о производу, цене или рецензије.
- Садржај унутар картица, хармоника или одељака „учитај још“ који се тражи тек на клик.
- Странице иза пријаве, наплатног зида или зида за пристанак кроз који краулер не може да прође.
- Странице које
noindexили канонски URL постављају само преко JavaScript-а. Google упозорава да, када видиnoindexу оригиналном HTML-у, може потпуно да прескочи рендеровање.
Како да исправим садржај који постоји само у JavaScript-у?
Решење је да важан садржај пошаљете у првом одговору. Изаберите најлакшу опцију коју ваш стек дозвољава:
- Рендеровање на серверу (SSR): фрејмворци као што су Next.js, Nuxt, SvelteKit и Angular SSR рендерују страницу на серверу и хидрирају је у прегледачу.
- Статичко генерисање или унапред рендеровање: направите HTML у тренутку објављивања за странице које се ретко мењају, као што су чланци, документација и одредишне странице.
- Прогресивно побољшање: ставите текст, наслове, линкове, цене и JSON-LD у HTML, а JavaScript користите само за интеракцију.
- Уградите оно што је важно: ако картице скривају садржај, ставите га целог у HTML и мењајте видљивост помоћу CSS-а или скрипте, уместо да га преузимате на клик.
Не морате да преправите целу апликацију одједном. Почните од страница које желите да буду цитиране: чланака, документације, страница производа и цена. Делови за налог и контролне табле могу да остану на клијенту, јер су ионако иза пријаве.
Избегавајте да краулерима служите другачију страницу него корисницима на основу њиховог user agent-а. Рендеровање истог HTML-а за све лакше је одржавати и отклања сваку сумњу на cloaking.
Да ли екрани за пријаву, пристанак и наплатни зидови такође блокирају AI краулере?
Да. Краулер се не пријављује, не кликће на банер за колачиће и не решава изазове. Anthropic наводи да његови ботови неће покушавати да заобиђу CAPTCHA. Ако менаџер пристанка у HTML-у замени страницу преклопом преко целог екрана или посетиоце који долазе први пут преусмери на страницу за пристанак, краулер добија то уместо вашег садржаја.
Уверите се да јавне странице рендерују свој садржај у HTML-у без обзира на стање пристанка, са банером као преклопом, а не као заменом. Странице које желите да буду цитиране држите изван зидова за пријаву и проверите да краулер није преусмерен на страницу за пријаву.
Како AISeeWhy открива странице које постоје само у JavaScript-у?
AISeeWhy чита почетни HTML онако како га добија сваки краулер, без покретања скрипти. Када страница нема скоро никакав видљив текст, али има коренски елемент фрејмворка и скрипте, пријављује налаз P1 да је садржају потребан JavaScript. Означава и преусмеравања која краулере шаљу негде другде, а не на страницу коју добија прегледач.
Исправке за овај проблем
- Нема Markdown верзије за AI агенте
- Садржају странице је потребан JavaScript
- Цена у ознакама, али не и у тексту странице
- Оцене у ознакама које страница не приказује
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли Googlebot рендерује JavaScript?
Да. Google обилази HTML, ставља странице у ред за рендеровање и рендерује их помоћу headless Chromium-а када ресурси то дозволе. Google и даље препоручује рендеровање на серверу или унапред рендеровање.
Да ли краулери ChatGPT-а, Claude-а и Perplexity-ја покрећу JavaScript?
Документација о краулерима њихових компанија то не наводи. Док компанија не каже другачије, претпоставите да краулер чита почетни HTML и уверите се да је ваш садржај у њему.
Да ли је динамичко рендеровање за ботове добра идеја?
Ради као привремено решење, али додаје други пут рендеровања који морате да одржавате. Рендеровање на серверу или статички HTML служе исти садржај свима и једноставније су дугорочно решење.
Да ли се рачуна JSON-LD који додаје JavaScript?
Google може да га прочита након рендеровања, али краулери који не покрећу скрипте га неће видети. Ставите JSON-LD у почетни HTML.
Извори
- Google Search Central: основе JavaScript SEO-а
- Apple: о Applebot-у
- OpenAI: преглед OpenAI краулера
- Anthropic: да ли Anthropic прикупља податке са веба и како власници сајтова могу да блокирају краулер?
- Perplexity: краулери Perplexity-ја