Могат ли AI ботовете да четат съдържание, рендирано с JavaScript?
Често не. Googlebot рендира JavaScript в по-късна стъпка, но повечето AI ботове не документират, че го правят, а самата Google отбелязва, че не всички ботове могат да изпълняват JavaScript. Ако текстът ви се появява едва след изпълнение на скриптовете, AI ботът може да получи празна страница. Връщайте основното съдържание в първоначалния HTML чрез сървърно рендиране или статични страници.
Едностраничните приложения и клиентските фреймуърци са навсякъде и в браузъра изглеждат добре. Бот, който чете само HTML, изпратен от сървъра ви, вижда нещо друго: <div id="root"></div>, няколко тага за скриптове и малко или никакъв текст. За AI отговорите такава страница няма какво да предложи за цитиране.
На тази страница
- Защо AI ботовете пропускат съдържанието от JavaScript?
- Как да проверя какво получава ботът?
- Кои страници са най-застрашени?
- Как да поправя съдържание, което зависи само от JavaScript?
- Блокират ли AI ботовете и екраните за вход, съгласие и платен достъп?
- Как AISeeWhy открива страници, които зависят само от JavaScript?
Защо AI ботовете пропускат съдържанието от JavaScript?
Изпълнението на JavaScript е скъпо. Ботът трябва да изтегли скриптовете, да ги изпълни в браузърен енджин и да изчака данните да се заредят. Google прави това за Search: обхожда, поставя страниците на опашка за рендиране и ги рендира с headless Chromium, когато ресурсите позволяват. Въпреки това Google препоръчва сървърно рендиране или предварително рендиране, защото е по-бързо за потребителите и ботовете, и отбелязва, че не всички ботове могат да изпълняват JavaScript.
OpenAI, Anthropic и Perplexity не заявяват в документацията за ботовете си, че агентите им изпълняват JavaScript. Apple казва, че Applebot може да рендира страници в браузър. При липса на ясно изявление безопасното предположение за AI ботовете е, че четат само първоначалния HTML.
Как да проверя какво получава ботът?
Гледайте суровия HTML, а не рендираната страница. Инструментите за разработчици в браузъра показват DOM след изпълнението на скриптовете, а ботът не получава точно това. Използвайте прегледа на изходния код или запазете суровия HTML от командния ред и потърсете в него:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Резултат 0 означава, че изречението го няма в HTML, изпратен от сървъра, така че ботовете, които не изпълняват скриптове, няма да го намерят. Бърз поглед към файла казва останалото: статия, рендирана на сървъра, съдържа там целия си текст; клиентска обвивка има празен коренов елемент и списък със скриптове.
Кои страници са най-застрашени?
- Едностранични приложения, изградени с React, Vue, Angular или Svelte, които рендират всичко в браузъра.
- Страници, които изтеглят основния си текст от API след зареждане, например подробности за продукти, цени или ревюта.
- Съдържание в раздели, акордеони или секции „покажи още“, което се заявява само при щракване.
- Страници зад вход, платен достъп или екран за съгласие, които ботът не може да премине.
- Страници, които задават
noindexили canonical URL само чрез JavaScript. Google предупреждава, че когато видиnoindexв оригиналния HTML, може изобщо да пропусне рендирането.
Как да поправя съдържание, което зависи само от JavaScript?
Решението е да изпращате важното съдържание още в първия отговор. Изберете най-лекия вариант, който позволява технологичният ви стек:
- Сървърно рендиране (SSR): фреймуърци като Next.js, Nuxt, SvelteKit и Angular SSR рендират страницата на сървъра и я хидратират в браузъра.
- Статично генериране или предварително рендиране: изграждайте HTML при публикуване за страници, които се променят рядко, като статии, документация и целеви страници.
- Прогресивно подобряване: поставете текста, заглавията, връзките, цените и JSON-LD в HTML и използвайте JavaScript само за взаимодействие.
- Вграждайте важното: ако разделите скриват съдържание, поставете всичко в HTML и превключвайте видимостта с CSS или скрипт, вместо да го изтегляте при щракване.
Не е нужно да преработите цялото приложение наведнъж. Започнете със страниците, които искате да бъдат цитирани: статии, документация, страници за продукти и цени. Профилите и таблата могат да останат клиентски, защото така или иначе са зад вход.
Избягвайте да давате на ботовете различна страница от тази за потребителите въз основа на user agent. Рендирането на един и същ HTML за всички е по-лесно за поддръжка и премахва всякакво съмнение за cloaking.
Блокират ли AI ботовете и екраните за вход, съгласие и платен достъп?
Да. Ботът не влиза в профил, не щраква върху банер за бисквитки и не решава проверки. Anthropic заявява, че ботовете ѝ няма да се опитват да преминат CAPTCHA. Ако инструментът за управление на съгласието замени страницата с наслагване на цял екран в HTML или пренасочи посетителите, които идват за първи път, към страница за съгласие, ботът получава това вместо съдържанието ви.
Уверете се, че публичните страници рендират съдържанието си в HTML независимо от състоянието на съгласието, а банерът е наслагване, а не заместител. Дръжте страниците, които искате да бъдат цитирани, извън зоните с вход и проверете, че ботът не се пренасочва към страница за вход.
Как AISeeWhy открива страници, които зависят само от JavaScript?
AISeeWhy чете първоначалния HTML така, както го получава всеки бот, без да изпълнява скриптове. Когато страницата има почти никакъв видим текст, но има коренов елемент на фреймуърк и скриптове, отчетът показва находка P1, че съдържанието изисква JavaScript. Той отбелязва и пренасочвания, които изпращат ботовете на друго място, различно от страницата, която получава браузърът.
Корекции за този проблем
- Няма Markdown версия за AI агенти
- Съдържанието на страницата изисква JavaScript
- Цена в разметката, но не и в текста на страницата
- Рейтинг в разметката, който страницата не показва
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Рендира ли Googlebot JavaScript?
Да. Google обхожда HTML, поставя страниците на опашка за рендиране и ги рендира с headless Chromium, когато ресурсите позволяват. Google все пак препоръчва сървърно рендиране или предварително рендиране.
Изпълняват ли ботовете на ChatGPT, Claude и Perplexity JavaScript?
Документацията за ботовете на техните компании не казва това. Докато компанията не заяви друго, приемайте, че ботът чете първоначалния HTML, и се уверете, че съдържанието ви е в него.
Добра идея ли е динамичното рендиране за ботове?
То работи като временно решение, но добавя втори път на рендиране, който трябва да се поддържа. Сървърното рендиране или статичният HTML дават едно и също съдържание на всички и са по-простото дългосрочно решение.
Брои ли се JSON-LD, добавен от JavaScript?
Google може да го прочете след рендиране, но ботовете, които не изпълняват скриптове, няма да го видят. Поставете JSON-LD в първоначалния HTML.
Източници
- Google Search Central: Основи на JavaScript SEO
- Apple: За Applebot
- OpenAI: Преглед на ботовете на OpenAI
- Anthropic: Обхожда ли Anthropic данни от уеб и как собствениците на сайтове могат да блокират бота?
- Perplexity: ботовете на Perplexity