Дали AI краулерите можат да читаат содржина рендерирана со JavaScript?

Објавено

Краток одговор

Често не. Googlebot рендерира JavaScript во подоцнежен чекор, но повеќето AI краулери не документираат дека го прават тоа, а и самиот Google забележува дека не сите ботови можат да извршуваат JavaScript. Ако вашиот текст се појавува дури откако ќе се извршат скриптите, AI краулерот може да добие празна страница. Сервирајте ја главната содржина во почетниот HTML со рендерирање на серверот или статички страници.

Апликациите со една страница и клиентските рамки се насекаде, а во прелистувач изгледаат добро. Краулер што го чита само HTML-от што го праќа вашиот сервер гледа нешто друго: <div id="root"></div>, неколку ознаки за скрипти и малку или нималку текст. За AI одговорите, таа страница нема ништо за цитирање.

На оваа страница
  1. Зошто AI краулерите ја пропуштаат JavaScript содржината?
  2. Како да проверам што добива краулерот?
  3. Кои страници се најизложени на ризик?
  4. Како да ја поправам содржината што зависи само од JavaScript?
  5. Дали екраните за најава, согласност и платен ѕид исто така ги блокираат AI краулерите?
  6. Како AISeeWhy открива страници што зависат само од JavaScript?

Зошто AI краулерите ја пропуштаат JavaScript содржината?

Извршувањето JavaScript е скапо. Краулерот мора да ги преземе скриптите, да ги изврши во мотор на прелистувач и да чека да се вчитаат податоците. Google го прави ова за пребарувањето: обиколува, ги става страниците во редица за рендерирање и ги рендерира со headless Chromium кога ресурсите дозволуваат. Сепак, Google препорачува рендерирање на серверот или претходно рендерирање затоа што е побрзо за корисниците и краулерите, и забележува дека не сите ботови можат да извршуваат JavaScript.

OpenAI, Anthropic и Perplexity не наведуваат во својата документација за краулерите дека нивните агенти извршуваат JavaScript. Apple наведува дека Applebot може да рендерира страници во прелистувач. Без јасна изјава, безбедната претпоставка за AI краулерите е дека го читаат само почетниот HTML.

Како да проверам што добива краулерот?

Погледнете го суровиот HTML, а не рендерираната страница. Алатките за програмери во прелистувачот го прикажуваат DOM-от откако се извршиле скриптите, а тоа не е она што го добива краулерот. Користете приказ на изворниот код или зачувајте го суровиот HTML од командната линија и пребарајте го:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Резултат 0 значи дека реченицата не е во HTML-от што го испратил серверот, па краулерите што не извршуваат скрипти нема да ја најдат. Брз поглед во датотеката го кажува остатокот: статија рендерирана на серверот го има целиот текст таму; клиентска обвивка има празен коренски елемент и листа скрипти.

Кои страници се најизложени на ризик?

Како да ја поправам содржината што зависи само од JavaScript?

Поправката е важната содржина да се испрати во првиот одговор. Изберете ја најлесната опција што ја дозволува вашата технологија:

Не мора да ја претворите целата апликација одеднаш. Почнете со страниците што сакате да бидат цитирани: статии, документација, страници за производи и цени. Деловите за сметката и контролните табли можат да останат на клиентот, бидејќи и онака се зад најава.

Избегнувајте да им сервирате на краулерите поинаква страница од онаа за корисниците врз основа на нивниот user agent. Рендерирањето на истиот HTML за сите е поедноставно за одржување и избегнува секаков сомнеж за cloaking.

Дали екраните за најава, согласност и платен ѕид исто така ги блокираат AI краулерите?

Да. Краулерот не се најавува, не кликнува на банер за колачиња и не решава предизвици. Anthropic наведува дека неговите ботови нема да се обидат да ги заобиколат CAPTCHA. Ако менаџерот за согласност ја заменува страницата со преклоп на цел екран во HTML-от, или ги пренасочува посетителите што доаѓаат прв пат кон страница за согласност, краулерот го добива тоа наместо вашата содржина.

Осигурете се дека јавните страници ја рендерираат својата содржина во HTML-от без оглед на состојбата на согласноста, со банерот како преклоп, а не како замена. Држете ги страниците што сакате да бидат цитирани надвор од ѕидовите за најава и проверете дали краулерот не се пренасочува кон страница за најава.

Како AISeeWhy открива страници што зависат само од JavaScript?

AISeeWhy го чита почетниот HTML онака како што го добива секој краулер, без извршување скрипти. Кога страницата речиси нема видлив текст, а има коренски елемент на рамка и скрипти, пријавува наод P1 дека на содржината ѝ треба JavaScript. Ги означува и пренасочувањата што ги праќаат краулерите на друго место, а не на страницата што ја добива прелистувачот.

Поправки за овој проблем

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали Googlebot рендерира JavaScript?

Да. Google го обиколува HTML-от, ги става страниците во редица за рендерирање и ги рендерира со headless Chromium кога ресурсите дозволуваат. Google сепак препорачува рендерирање на серверот или претходно рендерирање.

Дали краулерите на ChatGPT, Claude и Perplexity извршуваат JavaScript?

Документацијата за краулерите на нивните производители не го наведува тоа. Додека производителот не каже поинаку, претпоставете дека краулерот го чита почетниот HTML и осигурете се дека вашата содржина е во него.

Дали динамичкото рендерирање за ботови е добра идеја?

Функционира како привремено решение, но додава втор пат на рендерирање што треба да се одржува. Рендерирањето на серверот или статичкиот HTML им ја сервира истата содржина на сите и е поедноставна долгорочна поправка.

Дали се смета JSON-LD додаден со JavaScript?

Google може да го прочита по рендерирањето, но краулерите што не извршуваат скрипти нема да го видат. Ставете го JSON-LD во почетниот HTML.

Извори

Уште статии