Да ли AI краулери могу да читају садржај који рендерује JavaScript?

Објављено

Кратак одговор

Често не могу. Googlebot рендерује JavaScript у каснијем кораку, али већина AI краулера не документује да то ради, а и сам Google напомиње да не могу сви ботови да покрећу JavaScript. Ако се ваш текст појављује тек када се покрену скрипте, AI краулер може да добије празну страницу. Главни садржај послужите у почетном HTML-у помоћу рендеровања на серверу или статичких страница.

Апликације са једном страницом и клијентски фрејмворци су свуда и у прегледачу изгледају добро. Краулер који чита само HTML који шаље ваш сервер види нешто друго: <div id="root"></div>, неколико script ознака и мало текста или нимало. За AI одговоре таква страница нема шта да понуди за цитирање.

На овој страници
  1. Зашто AI краулерима промиче садржај из JavaScript-а?
  2. Како да проверим шта краулер добија?
  3. Које странице су најугроженије?
  4. Како да исправим садржај који постоји само у JavaScript-у?
  5. Да ли екрани за пријаву, пристанак и наплатни зидови такође блокирају AI краулере?
  6. Како AISeeWhy открива странице које постоје само у JavaScript-у?

Зашто AI краулерима промиче садржај из JavaScript-а?

Покретање JavaScript-а је скупо. Краулер мора да преузме скрипте, изврши их у механизму прегледача и сачека да се подаци учитају. Google то ради за претрагу: обилази странице, ставља их у ред за рендеровање и рендерује их помоћу headless Chromium-а када ресурси то дозволе. Ипак, Google препоручује рендеровање на серверу или унапред рендеровање јер је брже за кориснике и краулере, и напомиње да не могу сви ботови да покрећу JavaScript.

OpenAI, Anthropic и Perplexity у својој документацији о краулерима не наводе да њихови агенти извршавају JavaScript. Apple каже да Applebot може да рендерује странице у прегледачу. Без јасне изјаве, безбедна претпоставка за AI краулере је да читају само почетни HTML.

Како да проверим шта краулер добија?

Гледајте сирови HTML, а не рендеровану страницу. Алатке за програмере у прегледачу приказују DOM након што су се скрипте извршиле, а то није оно што краулер добија. Користите приказ изворног кода или сачувајте сирови HTML из командне линије и претражите га:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Резултат 0 значи да реченица није у HTML-у који је сервер послао, па је краулери који не покрећу скрипте неће пронаћи. Брз поглед на фајл говори остало: чланак рендерован на серверу ту има цео текст; клијентска љуска има празан коренски елемент и листу скрипти.

Које странице су најугроженије?

Како да исправим садржај који постоји само у JavaScript-у?

Решење је да важан садржај пошаљете у првом одговору. Изаберите најлакшу опцију коју ваш стек дозвољава:

Не морате да преправите целу апликацију одједном. Почните од страница које желите да буду цитиране: чланака, документације, страница производа и цена. Делови за налог и контролне табле могу да остану на клијенту, јер су ионако иза пријаве.

Избегавајте да краулерима служите другачију страницу него корисницима на основу њиховог user agent-а. Рендеровање истог HTML-а за све лакше је одржавати и отклања сваку сумњу на cloaking.

Да ли екрани за пријаву, пристанак и наплатни зидови такође блокирају AI краулере?

Да. Краулер се не пријављује, не кликће на банер за колачиће и не решава изазове. Anthropic наводи да његови ботови неће покушавати да заобиђу CAPTCHA. Ако менаџер пристанка у HTML-у замени страницу преклопом преко целог екрана или посетиоце који долазе први пут преусмери на страницу за пристанак, краулер добија то уместо вашег садржаја.

Уверите се да јавне странице рендерују свој садржај у HTML-у без обзира на стање пристанка, са банером као преклопом, а не као заменом. Странице које желите да буду цитиране држите изван зидова за пријаву и проверите да краулер није преусмерен на страницу за пријаву.

Како AISeeWhy открива странице које постоје само у JavaScript-у?

AISeeWhy чита почетни HTML онако како га добија сваки краулер, без покретања скрипти. Када страница нема скоро никакав видљив текст, али има коренски елемент фрејмворка и скрипте, пријављује налаз P1 да је садржају потребан JavaScript. Означава и преусмеравања која краулере шаљу негде другде, а не на страницу коју добија прегледач.

Исправке за овај проблем

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли Googlebot рендерује JavaScript?

Да. Google обилази HTML, ставља странице у ред за рендеровање и рендерује их помоћу headless Chromium-а када ресурси то дозволе. Google и даље препоручује рендеровање на серверу или унапред рендеровање.

Да ли краулери ChatGPT-а, Claude-а и Perplexity-ја покрећу JavaScript?

Документација о краулерима њихових компанија то не наводи. Док компанија не каже другачије, претпоставите да краулер чита почетни HTML и уверите се да је ваш садржај у њему.

Да ли је динамичко рендеровање за ботове добра идеја?

Ради као привремено решење, али додаје други пут рендеровања који морате да одржавате. Рендеровање на серверу или статички HTML служе исти садржај свима и једноставније су дугорочно решење.

Да ли се рачуна JSON-LD који додаје JavaScript?

Google може да га прочита након рендеровања, али краулери који не покрећу скрипте га неће видети. Ставите JSON-LD у почетни HTML.

Извори

Још чланака