ЖИ краулерлері JavaScript рендерлейтін мазмұнды оқи ала ма?
Көбіне жоқ. Googlebot JavaScript-ті кейінгі қадамда рендерлейді, бірақ ЖИ краулерлерінің көбі мұны жасайтынын құжаттамайды, ал Google-дың өзі барлық боттар JavaScript іске қоса алмайтынын атап өтеді. Мәтініңіз тек скрипттер іске қосылғаннан кейін пайда болса, ЖИ краулері бос бет алуы мүмкін. Негізгі мазмұнды серверлік рендеринг немесе статикалық беттер арқылы бастапқы HTML-де беріңіз.
Бір беттік қолданбалар мен клиенттік фреймворктер барлық жерде, және браузерде олар жақсы көрінеді. Сервер жіберетін HTML-ді ғана оқитын краулер басқа нәрсені көреді: <div id="root"></div>, бірнеше script тегі және мәтін мүлде аз немесе жоқ. ЖИ жауаптары үшін мұндай бетте дәйексөз келтіретін ештеңе жоқ.
Осы бетте
- Неге ЖИ краулерлері JavaScript мазмұнын өткізіп алады?
- Краулер не алатынын қалай тексеруге болады?
- Қай беттерге қауіп көбірек төнеді?
- Тек JavaScript-ке тәуелді мазмұнды қалай түзетуге болады?
- Кіру, келісім және paywall экрандары да ЖИ краулерлерін бұғаттай ма?
- AISeeWhy тек JavaScript-ке тәуелді беттерді қалай анықтайды?
Неге ЖИ краулерлері JavaScript мазмұнын өткізіп алады?
JavaScript іске қосу қымбат. Краулер скрипттерді жүктеп, оларды браузер қозғалтқышында орындап, деректердің жүктелуін күтуі керек. Google мұны Search үшін жасайды: ол краулинг жасайды, беттерді рендерлеу кезегіне қояды және ресурстар мүмкіндік бергенде оларды headless Chromium арқылы рендерлейді. Соған қарамастан Google серверлік рендерингті немесе алдын ала рендерлеуді ұсынады, себебі ол пайдаланушылар мен краулерлер үшін жылдамырақ, және барлық боттар JavaScript іске қоса алмайтынын атап өтеді.
OpenAI, Anthropic және Perplexity краулер құжаттамасында өз агенттері JavaScript орындайтынын айтпайды. Apple Applebot беттерді браузерде рендерлеуі мүмкін екенін айтады. Анық мәлімдеме болмаса, ЖИ краулерлері тек бастапқы HTML-ді оқиды деп есептеген қауіпсіз.
Краулер не алатынын қалай тексеруге болады?
Рендерленген бетке емес, шикі HTML-ге қараңыз. Браузердің әзірлеуші құралдары скрипттер іске қосылғаннан кейінгі DOM-ды көрсетеді, ал краулер мұны алмайды. view-source пайдаланыңыз немесе шикі HTML-ді командалық жолдан сақтап, одан іздеңіз:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html 0 нәтижесі сөйлемнің сервер жіберген HTML-де жоқ екенін білдіреді, сондықтан скрипт орындамайтын краулерлер оны таппайды. Файлға тез қарау қалғанын айтады: серверде рендерленген мақаланың толық мәтіні онда болады; клиенттік қабықта бос түбір элементі мен скрипттер тізімі болады.
Қай беттерге қауіп көбірек төнеді?
- Бәрін браузерде рендерлейтін React, Vue, Angular немесе Svelte негізіндегі бір беттік қолданбалар.
- Негізгі мәтінін жүктелгеннен кейін API-дан алатын беттер, мысалы өнім мәліметтері, бағалар немесе пікірлер.
- Тек басқанда сұралатын қойындылар, аккордеондар немесе "load more" бөлімдеріндегі мазмұн.
- Краулер өте алмайтын кіру, paywall немесе келісім қабырғасының артындағы беттер.
noindexнемесе canonical URL-ды тек JavaScript арқылы орнататын беттер. Google бастапқы HTML-деnoindexкөрсе, рендерлеуді мүлде өткізіп жіберуі мүмкін екенін ескертеді.
Тек JavaScript-ке тәуелді мазмұнды қалай түзетуге болады?
Түзету — маңызды мазмұнды бірінші жауапта жіберу. Стегіңіз мүмкіндік беретін ең жеңіл нұсқаны таңдаңыз:
- Серверлік рендеринг (SSR): Next.js, Nuxt, SvelteKit және Angular SSR сияқты фреймворктер бетті серверде рендерлеп, браузерде гидрациялайды.
- Статикалық генерация немесе алдын ала рендерлеу: мақалалар, құжаттама және лендингтер сияқты сирек өзгеретін беттер үшін HTML-ді деплой кезінде құрастырыңыз.
- Прогрессивті жақсарту: мәтінді, тақырыптарды, сілтемелерді, бағаларды және JSON-LD-ді HTML-ге қойып, JavaScript-ті тек интерактивтілік үшін пайдаланыңыз.
- Маңыздыны кірістіріңіз: қойындылар мазмұнды жасырса, оны басқанда алудың орнына барлығын HTML-ге қойып, көрінуін CSS немесе скрипт арқылы ауыстырыңыз.
Бүкіл қолданбаны бірден түрлендірудің қажеті жоқ. Сілтеме алғыңыз келетін беттерден бастаңыз: мақалалар, құжаттама, өнім және баға беттері. Аккаунт бөлімдері мен басқару панельдері клиенттік күйінде қала алады, себебі олар бәрібір кіру арқылы ғана ашылады.
Краулерлерге user agent бойынша пайдаланушылардан басқа бет бермеңіз. Барлығына бірдей HTML рендерлеу қолдауға қарапайымырақ және cloaking туралы кез келген күмәнді болдырмайды.
Кіру, келісім және paywall экрандары да ЖИ краулерлерін бұғаттай ма?
Иә. Краулер аккаунтқа кірмейді, cookie баннерін баспайды және тексерулерді шешпейді. Anthropic өз боттары CAPTCHA-ны айналып өтуге тырыспайтынын айтады. Келісім менеджері HTML-де бетті толық экранды қабатпен ауыстырса немесе алғаш келгендерді келісім бетіне қайта бағыттаса, краулер мазмұныңыздың орнына соны алады.
Жалпыға ашық беттер келісім күйіне қарамастан мазмұнын HTML-де рендерлейтініне, ал баннер бетті алмастырмай, үстінен шығатын қабат болатынына көз жеткізіңіз. Сілтеме алғыңыз келетін беттерді кіру қабырғасынан тыс ұстап, краулердің кіру бетіне қайта бағытталмайтынын тексеріңіз.
AISeeWhy тек JavaScript-ке тәуелді беттерді қалай анықтайды?
AISeeWhy бастапқы HTML-ді әр краулер алатындай, скрипттерді іске қоспай оқиды. Бетте көрінетін мәтін жоқтың қасы болып, бірақ фреймворктің түбір элементі мен скрипттер болса, ол мазмұнға JavaScript қажет деген P1 мәселесін көрсетеді. Ол сондай-ақ краулерлерді браузер алатын беттен басқа жерге жіберетін қайта бағыттауларды белгілейді.
Бұл мәселені түзету жолдары
- ЖИ агенттері үшін Markdown нұсқасы жоқ
- Бет мазмұны JavaScript қажет етеді
- Баға белгілеуде бар, бет мәтінінде жоқ
- Белгілеудегі рейтинг бетте көрсетілмейді
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Googlebot JavaScript рендерлей ме?
Иә. Google HTML-ді краулинг жасап, беттерді рендерлеу кезегіне қояды және ресурстар мүмкіндік бергенде оларды headless Chromium арқылы рендерлейді. Google бәрібір серверлік рендерингті немесе алдын ала рендерлеуді ұсынады.
ChatGPT, Claude және Perplexity краулерлері JavaScript іске қоса ма?
Жеткізушілердің краулер құжаттамасында бұл айтылмаған. Жеткізуші басқаша айтпайынша, краулер бастапқы HTML-ді оқиды деп есептеп, мазмұныңыздың сонда болуын қамтамасыз етіңіз.
Боттар үшін динамикалық рендеринг жақсы идея ма?
Ол уақытша шешім ретінде жұмыс істейді, бірақ қолдауды қажет ететін екінші рендерлеу жолын қосады. Серверлік рендеринг немесе статикалық HTML барлығына бірдей мазмұн береді және ұзақ мерзімде қарапайымырақ шешім болады.
JavaScript қосқан JSON-LD есептеле ме?
Google оны рендерлегеннен кейін оқи алады, бірақ скрипт орындамайтын краулерлер оны көрмейді. JSON-LD-ді бастапқы HTML-ге қойыңыз.
Дереккөздер
- Google Search Central: JavaScript SEO негіздері
- Apple: Applebot туралы
- OpenAI: OpenAI краулерлеріне шолу
- Anthropic: Anthropic вебтен деректер жинай ма және сайт иелері краулерді қалай бұғаттай алады?
- Perplexity: Perplexity краулерлері