Дали AI краулерите можат да читаат содржина рендерирана со JavaScript?
Често не. Googlebot рендерира JavaScript во подоцнежен чекор, но повеќето AI краулери не документираат дека го прават тоа, а и самиот Google забележува дека не сите ботови можат да извршуваат JavaScript. Ако вашиот текст се појавува дури откако ќе се извршат скриптите, AI краулерот може да добие празна страница. Сервирајте ја главната содржина во почетниот HTML со рендерирање на серверот или статички страници.
Апликациите со една страница и клиентските рамки се насекаде, а во прелистувач изгледаат добро. Краулер што го чита само HTML-от што го праќа вашиот сервер гледа нешто друго: <div id="root"></div>, неколку ознаки за скрипти и малку или нималку текст. За AI одговорите, таа страница нема ништо за цитирање.
На оваа страница
- Зошто AI краулерите ја пропуштаат JavaScript содржината?
- Како да проверам што добива краулерот?
- Кои страници се најизложени на ризик?
- Како да ја поправам содржината што зависи само од JavaScript?
- Дали екраните за најава, согласност и платен ѕид исто така ги блокираат AI краулерите?
- Како AISeeWhy открива страници што зависат само од JavaScript?
Зошто AI краулерите ја пропуштаат JavaScript содржината?
Извршувањето JavaScript е скапо. Краулерот мора да ги преземе скриптите, да ги изврши во мотор на прелистувач и да чека да се вчитаат податоците. Google го прави ова за пребарувањето: обиколува, ги става страниците во редица за рендерирање и ги рендерира со headless Chromium кога ресурсите дозволуваат. Сепак, Google препорачува рендерирање на серверот или претходно рендерирање затоа што е побрзо за корисниците и краулерите, и забележува дека не сите ботови можат да извршуваат JavaScript.
OpenAI, Anthropic и Perplexity не наведуваат во својата документација за краулерите дека нивните агенти извршуваат JavaScript. Apple наведува дека Applebot може да рендерира страници во прелистувач. Без јасна изјава, безбедната претпоставка за AI краулерите е дека го читаат само почетниот HTML.
Како да проверам што добива краулерот?
Погледнете го суровиот HTML, а не рендерираната страница. Алатките за програмери во прелистувачот го прикажуваат DOM-от откако се извршиле скриптите, а тоа не е она што го добива краулерот. Користете приказ на изворниот код или зачувајте го суровиот HTML од командната линија и пребарајте го:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Резултат 0 значи дека реченицата не е во HTML-от што го испратил серверот, па краулерите што не извршуваат скрипти нема да ја најдат. Брз поглед во датотеката го кажува остатокот: статија рендерирана на серверот го има целиот текст таму; клиентска обвивка има празен коренски елемент и листа скрипти.
Кои страници се најизложени на ризик?
- Апликации со една страница изградени со React, Vue, Angular или Svelte што рендерираат сè во прелистувачот.
- Страници што го преземаат својот главен текст од API по вчитувањето, како детали за производ, цени или рецензии.
- Содржина во јазичиња, хармоники или делови „вчитај повеќе“ што се бара дури на клик.
- Страници зад најава, платен ѕид или ѕид за согласност што краулерот не може да го помине.
- Страници што поставуваат
noindexили канонски URL само преку JavaScript. Google предупредува дека кога ќе видиnoindexво оригиналниот HTML, може целосно да го прескокне рендерирањето.
Како да ја поправам содржината што зависи само од JavaScript?
Поправката е важната содржина да се испрати во првиот одговор. Изберете ја најлесната опција што ја дозволува вашата технологија:
- Рендерирање на серверот (SSR): рамки како Next.js, Nuxt, SvelteKit и Angular SSR ја рендерираат страницата на серверот и ја хидрираат во прелистувачот.
- Статичко генерирање или претходно рендерирање: изградете го HTML-от при објавувањето за страниците што ретко се менуваат, како статии, документација и целни страници.
- Прогресивно подобрување: ставете ги текстот, насловите, врските, цените и JSON-LD во HTML-от и користете JavaScript само за интеракција.
- Вметнете го она што е важно: ако јазичињата кријат содржина, ставете ја целата во HTML-от и менувајте ја видливоста со CSS или скрипта, наместо да ја преземате на клик.
Не мора да ја претворите целата апликација одеднаш. Почнете со страниците што сакате да бидат цитирани: статии, документација, страници за производи и цени. Деловите за сметката и контролните табли можат да останат на клиентот, бидејќи и онака се зад најава.
Избегнувајте да им сервирате на краулерите поинаква страница од онаа за корисниците врз основа на нивниот user agent. Рендерирањето на истиот HTML за сите е поедноставно за одржување и избегнува секаков сомнеж за cloaking.
Дали екраните за најава, согласност и платен ѕид исто така ги блокираат AI краулерите?
Да. Краулерот не се најавува, не кликнува на банер за колачиња и не решава предизвици. Anthropic наведува дека неговите ботови нема да се обидат да ги заобиколат CAPTCHA. Ако менаџерот за согласност ја заменува страницата со преклоп на цел екран во HTML-от, или ги пренасочува посетителите што доаѓаат прв пат кон страница за согласност, краулерот го добива тоа наместо вашата содржина.
Осигурете се дека јавните страници ја рендерираат својата содржина во HTML-от без оглед на состојбата на согласноста, со банерот како преклоп, а не како замена. Држете ги страниците што сакате да бидат цитирани надвор од ѕидовите за најава и проверете дали краулерот не се пренасочува кон страница за најава.
Како AISeeWhy открива страници што зависат само од JavaScript?
AISeeWhy го чита почетниот HTML онака како што го добива секој краулер, без извршување скрипти. Кога страницата речиси нема видлив текст, а има коренски елемент на рамка и скрипти, пријавува наод P1 дека на содржината ѝ треба JavaScript. Ги означува и пренасочувањата што ги праќаат краулерите на друго место, а не на страницата што ја добива прелистувачот.
Поправки за овој проблем
- Нема Markdown верзија за AI агенти
- Содржината на страницата бара JavaScript
- Цена во означувањето, но не и во текстот на страницата
- Оценка во означувањето што страницата не ја прикажува
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали Googlebot рендерира JavaScript?
Да. Google го обиколува HTML-от, ги става страниците во редица за рендерирање и ги рендерира со headless Chromium кога ресурсите дозволуваат. Google сепак препорачува рендерирање на серверот или претходно рендерирање.
Дали краулерите на ChatGPT, Claude и Perplexity извршуваат JavaScript?
Документацијата за краулерите на нивните производители не го наведува тоа. Додека производителот не каже поинаку, претпоставете дека краулерот го чита почетниот HTML и осигурете се дека вашата содржина е во него.
Дали динамичкото рендерирање за ботови е добра идеја?
Функционира како привремено решение, но додава втор пат на рендерирање што треба да се одржува. Рендерирањето на серверот или статичкиот HTML им ја сервира истата содржина на сите и е поедноставна долгорочна поправка.
Дали се смета JSON-LD додаден со JavaScript?
Google може да го прочита по рендерирањето, но краулерите што не извршуваат скрипти нема да го видат. Ставете го JSON-LD во почетниот HTML.
Извори
- Google Search Central: Основи на JavaScript SEO
- Apple: За Applebot
- OpenAI: Преглед на краулерите на OpenAI
- Anthropic: Дали Anthropic обиколува податоци од интернетот и како сопствениците на сајтови можат да го блокираат краулерот?
- Perplexity: краулери на Perplexity