ЖИ краулерлері JavaScript рендерлейтін мазмұнды оқи ала ма?

Жарияланды

Қысқа жауап

Көбіне жоқ. Googlebot JavaScript-ті кейінгі қадамда рендерлейді, бірақ ЖИ краулерлерінің көбі мұны жасайтынын құжаттамайды, ал Google-дың өзі барлық боттар JavaScript іске қоса алмайтынын атап өтеді. Мәтініңіз тек скрипттер іске қосылғаннан кейін пайда болса, ЖИ краулері бос бет алуы мүмкін. Негізгі мазмұнды серверлік рендеринг немесе статикалық беттер арқылы бастапқы HTML-де беріңіз.

Бір беттік қолданбалар мен клиенттік фреймворктер барлық жерде, және браузерде олар жақсы көрінеді. Сервер жіберетін HTML-ді ғана оқитын краулер басқа нәрсені көреді: <div id="root"></div>, бірнеше script тегі және мәтін мүлде аз немесе жоқ. ЖИ жауаптары үшін мұндай бетте дәйексөз келтіретін ештеңе жоқ.

Осы бетте
  1. Неге ЖИ краулерлері JavaScript мазмұнын өткізіп алады?
  2. Краулер не алатынын қалай тексеруге болады?
  3. Қай беттерге қауіп көбірек төнеді?
  4. Тек JavaScript-ке тәуелді мазмұнды қалай түзетуге болады?
  5. Кіру, келісім және paywall экрандары да ЖИ краулерлерін бұғаттай ма?
  6. AISeeWhy тек JavaScript-ке тәуелді беттерді қалай анықтайды?

Неге ЖИ краулерлері JavaScript мазмұнын өткізіп алады?

JavaScript іске қосу қымбат. Краулер скрипттерді жүктеп, оларды браузер қозғалтқышында орындап, деректердің жүктелуін күтуі керек. Google мұны Search үшін жасайды: ол краулинг жасайды, беттерді рендерлеу кезегіне қояды және ресурстар мүмкіндік бергенде оларды headless Chromium арқылы рендерлейді. Соған қарамастан Google серверлік рендерингті немесе алдын ала рендерлеуді ұсынады, себебі ол пайдаланушылар мен краулерлер үшін жылдамырақ, және барлық боттар JavaScript іске қоса алмайтынын атап өтеді.

OpenAI, Anthropic және Perplexity краулер құжаттамасында өз агенттері JavaScript орындайтынын айтпайды. Apple Applebot беттерді браузерде рендерлеуі мүмкін екенін айтады. Анық мәлімдеме болмаса, ЖИ краулерлері тек бастапқы HTML-ді оқиды деп есептеген қауіпсіз.

Краулер не алатынын қалай тексеруге болады?

Рендерленген бетке емес, шикі HTML-ге қараңыз. Браузердің әзірлеуші құралдары скрипттер іске қосылғаннан кейінгі DOM-ды көрсетеді, ал краулер мұны алмайды. view-source пайдаланыңыз немесе шикі HTML-ді командалық жолдан сақтап, одан іздеңіз:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

0 нәтижесі сөйлемнің сервер жіберген HTML-де жоқ екенін білдіреді, сондықтан скрипт орындамайтын краулерлер оны таппайды. Файлға тез қарау қалғанын айтады: серверде рендерленген мақаланың толық мәтіні онда болады; клиенттік қабықта бос түбір элементі мен скрипттер тізімі болады.

Қай беттерге қауіп көбірек төнеді?

Тек JavaScript-ке тәуелді мазмұнды қалай түзетуге болады?

Түзету — маңызды мазмұнды бірінші жауапта жіберу. Стегіңіз мүмкіндік беретін ең жеңіл нұсқаны таңдаңыз:

Бүкіл қолданбаны бірден түрлендірудің қажеті жоқ. Сілтеме алғыңыз келетін беттерден бастаңыз: мақалалар, құжаттама, өнім және баға беттері. Аккаунт бөлімдері мен басқару панельдері клиенттік күйінде қала алады, себебі олар бәрібір кіру арқылы ғана ашылады.

Краулерлерге user agent бойынша пайдаланушылардан басқа бет бермеңіз. Барлығына бірдей HTML рендерлеу қолдауға қарапайымырақ және cloaking туралы кез келген күмәнді болдырмайды.

Кіру, келісім және paywall экрандары да ЖИ краулерлерін бұғаттай ма?

Иә. Краулер аккаунтқа кірмейді, cookie баннерін баспайды және тексерулерді шешпейді. Anthropic өз боттары CAPTCHA-ны айналып өтуге тырыспайтынын айтады. Келісім менеджері HTML-де бетті толық экранды қабатпен ауыстырса немесе алғаш келгендерді келісім бетіне қайта бағыттаса, краулер мазмұныңыздың орнына соны алады.

Жалпыға ашық беттер келісім күйіне қарамастан мазмұнын HTML-де рендерлейтініне, ал баннер бетті алмастырмай, үстінен шығатын қабат болатынына көз жеткізіңіз. Сілтеме алғыңыз келетін беттерді кіру қабырғасынан тыс ұстап, краулердің кіру бетіне қайта бағытталмайтынын тексеріңіз.

AISeeWhy тек JavaScript-ке тәуелді беттерді қалай анықтайды?

AISeeWhy бастапқы HTML-ді әр краулер алатындай, скрипттерді іске қоспай оқиды. Бетте көрінетін мәтін жоқтың қасы болып, бірақ фреймворктің түбір элементі мен скрипттер болса, ол мазмұнға JavaScript қажет деген P1 мәселесін көрсетеді. Ол сондай-ақ краулерлерді браузер алатын беттен басқа жерге жіберетін қайта бағыттауларды белгілейді.

Бұл мәселені түзету жолдары

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Googlebot JavaScript рендерлей ме?

Иә. Google HTML-ді краулинг жасап, беттерді рендерлеу кезегіне қояды және ресурстар мүмкіндік бергенде оларды headless Chromium арқылы рендерлейді. Google бәрібір серверлік рендерингті немесе алдын ала рендерлеуді ұсынады.

ChatGPT, Claude және Perplexity краулерлері JavaScript іске қоса ма?

Жеткізушілердің краулер құжаттамасында бұл айтылмаған. Жеткізуші басқаша айтпайынша, краулер бастапқы HTML-ді оқиды деп есептеп, мазмұныңыздың сонда болуын қамтамасыз етіңіз.

Боттар үшін динамикалық рендеринг жақсы идея ма?

Ол уақытша шешім ретінде жұмыс істейді, бірақ қолдауды қажет ететін екінші рендерлеу жолын қосады. Серверлік рендеринг немесе статикалық HTML барлығына бірдей мазмұн береді және ұзақ мерзімде қарапайымырақ шешім болады.

JavaScript қосқан JSON-LD есептеле ме?

Google оны рендерлегеннен кейін оқи алады, бірақ скрипт орындамайтын краулерлер оны көрмейді. JSON-LD-ді бастапқы HTML-ге қойыңыз.

Дереккөздер

Басқа мақалалар