AI botları JavaScript ilə render olunan məzmunu oxuya bilirmi?
Çox vaxt yox. Googlebot JavaScript-i sonrakı mərhələdə render edir, lakin AI botlarının əksəriyyəti bunu etdiyini sənədləşdirmir, Google özü də bütün botların JavaScript işlədə bilmədiyini qeyd edir. Mətniniz yalnız skriptlər işlədikdən sonra görünürsə, AI botu boş səhifə ala bilər. Əsas məzmunu server tərəfində render və ya statik səhifələrlə ilkin HTML-də verin.
Tək səhifəli tətbiqlər və müştəri tərəfli freymvorklar hər yerdədir və brauzerdə yaxşı görünür. Yalnız serverinizin göndərdiyi HTML-i oxuyan bot isə başqa şey görür: <div id="root"></div>, bir neçə script teqi və az mətn və ya heç mətn. AI cavabları üçün belə səhifədə sitat gətiriləcək heç nə yoxdur.
Bu səhifədə
- AI botları JavaScript məzmununu niyə buraxır?
- Botun nə aldığını necə yoxlamaq olar?
- Hansı səhifələr ən çox risk altındadır?
- Yalnız JavaScript ilə görünən məzmunu necə düzəltmək olar?
- Giriş, razılıq və ödənişli giriş ekranları da AI botlarını bloklayırmı?
- AISeeWhy yalnız JavaScript ilə işləyən səhifələri necə aşkar edir?
AI botları JavaScript məzmununu niyə buraxır?
JavaScript işlətmək baha başa gəlir. Bot skriptləri yükləməli, onları brauzer mühərrikində icra etməli və məlumatların yüklənməsini gözləməlidir. Google bunu Search üçün edir: tarayır, səhifələri render üçün növbəyə qoyur və resurslar imkan verəndə onları headless Chromium ilə render edir. Buna baxmayaraq Google server tərəfində render və ya prerender tövsiyə edir, çünki bu, istifadəçilər və botlar üçün daha sürətlidir, həmçinin bütün botların JavaScript işlədə bilmədiyini qeyd edir.
OpenAI, Anthropic və Perplexity bot sənədlərində agentlərinin JavaScript icra etdiyini bildirmir. Apple deyir ki, Applebot səhifələri brauzerdə render edə bilər. Aydın bəyanat olmadıqda AI botları üçün təhlükəsiz fərziyyə onların yalnız ilkin HTML-i oxumasıdır.
Botun nə aldığını necə yoxlamaq olar?
Render olunmuş səhifəyə deyil, xam HTML-ə baxın. Brauzerin developer alətləri skriptlər işlədikdən sonrakı DOM-u göstərir və bu, botun aldığı deyil. view-source-dan istifadə edin və ya xam HTML-i komanda sətrindən saxlayıb orada axtarın:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html 0 nəticəsi cümlənin serverin göndərdiyi HTML-də olmadığını göstərir, buna görə skript işlətməyən botlar onu tapmayacaq. Fayla qısa baxış qalanını deyir: serverdə render olunmuş məqalənin tam mətni oradadır; müştəri tərəfli qabıqda isə boş kök element və skriptlər siyahısı olur.
Hansı səhifələr ən çox risk altındadır?
- Hər şeyi brauzerdə render edən React, Vue, Angular və ya Svelte ilə qurulmuş tək səhifəli tətbiqlər.
- Əsas mətnini, məsələn məhsul təfərrüatlarını, qiymətləri və ya rəyləri yükləmədən sonra API-dən alan səhifələr.
- Yalnız kliklə sorğulanan tablar, akkordeonlar və ya "daha çox yüklə" bölmələri daxilindəki məzmun.
- Botun keçə bilmədiyi giriş, ödənişli giriş və ya razılıq divarı arxasındakı səhifələr.
noindex-i və ya canonical URL-i yalnız JavaScript vasitəsilə təyin edən səhifələr. Google xəbərdarlıq edir ki, orijinal HTML-dənoindexgörəndə render mərhələsini tamamilə ötürə bilər.
Yalnız JavaScript ilə görünən məzmunu necə düzəltmək olar?
Həll vacib məzmunu ilk cavabda göndərməkdir. Texnologiya yığınınızın imkan verdiyi ən yüngül variantı seçin:
- Server tərəfində render (SSR): Next.js, Nuxt, SvelteKit və Angular SSR kimi freymvorklar səhifəni serverdə render edir və brauzerdə hidratasiya edir.
- Statik generasiya və ya prerender: məqalələr, sənədlər və landing səhifələri kimi nadir dəyişən səhifələr üçün HTML-i deploy zamanı qurun.
- Proqressiv təkmilləşdirmə: mətni, başlıqları, keçidləri, qiymətləri və JSON-LD-ni HTML-ə qoyun, JavaScript-dən isə yalnız interaktivlik üçün istifadə edin.
- Vacib olanı birbaşa daxil edin: tablar məzmunu gizlədirsə, kliklə yükləmək əvəzinə hamısını HTML-ə qoyun və görünməni CSS və ya skriptlə dəyişin.
Bütün tətbiqi birdən çevirmək lazım deyil. İstinad olunmasını istədiyiniz səhifələrdən başlayın: məqalələr, sənədlər, məhsul və qiymət səhifələri. Hesab bölmələri və panellər müştəri tərəfində qala bilər, çünki onsuz da giriş arxasındadır.
Botlara user agent-lərinə görə istifadəçilərdən fərqli səhifə verməyin. Hamı üçün eyni HTML-i render etmək saxlamaq baxımından daha sadədir və cloaking ilə bağlı istənilən şübhənin qarşısını alır.
Giriş, razılıq və ödənişli giriş ekranları da AI botlarını bloklayırmı?
Bəli. Bot hesaba daxil olmur, cookie bannerinə klikləmir və challenge-ləri həll etmir. Anthropic botlarının CAPTCHA-ları keçməyə cəhd etməyəcəyini bildirir. Razılıq meneceri HTML-də səhifəni tam ekranlı örtüklə əvəz edirsə və ya ilk dəfə gələn ziyarətçiləri razılıq səhifəsinə yönləndirirsə, bot məzmununuz əvəzinə onu alır.
Açıq səhifələrin razılıq vəziyyətindən asılı olmayaraq məzmununu HTML-də render etdiyinə, bannerin isə səhifəni əvəz etmədiyinə, onun üzərində örtük kimi göstərildiyinə əmin olun. İstinad olunmasını istədiyiniz səhifələri giriş divarından kənarda saxlayın və botun giriş səhifəsinə yönləndirilmədiyini yoxlayın.
AISeeWhy yalnız JavaScript ilə işləyən səhifələri necə aşkar edir?
AISeeWhy ilkin HTML-i hər botun aldığı kimi, skript işlətmədən oxuyur. Səhifədə demək olar ki, görünən mətn yoxdursa, lakin freymvorkun kök elementi və skriptlər varsa, məzmunun JavaScript tələb etdiyini bildirən P1 tapıntısı göstərir. O, həmçinin botları brauzerin aldığı səhifədən başqa yerə göndərən yönləndirmələri qeyd edir.
Bu problem üçün düzəlişlər
- AI agentləri üçün Markdown versiyası yoxdur
- Səhifənin məzmunu JavaScript tələb edir
- Qiymət markada var, səhifə mətnində yoxdur
- Markada reytinq var, səhifədə isə göstərilmir
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
Googlebot JavaScript-i render edirmi?
Bəli. Google HTML-i tarayır, səhifələri render üçün növbəyə qoyur və resurslar imkan verəndə onları headless Chromium ilə render edir. Google yenə də server tərəfində render və ya prerender tövsiyə edir.
ChatGPT, Claude və Perplexity botları JavaScript işlədirmi?
Bu şirkətlərin bot sənədləri bunu demir. Şirkət əksini bildirənə qədər botun ilkin HTML-i oxuduğunu fərz edin və məzmununuzun orada olduğuna əmin olun.
Botlar üçün dinamik render yaxşı fikirdirmi?
O, müvəqqəti həll kimi işləyir, lakin saxlanılmalı ikinci render yolu əlavə edir. Server tərəfində render və ya statik HTML hamıya eyni məzmunu verir və uzunmüddətli daha sadə həlldir.
JavaScript ilə əlavə olunan JSON-LD nəzərə alınırmı?
Google onu render etdikdən sonra oxuya bilər, lakin skript işlətməyən botlar onu görməyəcək. JSON-LD-ni ilkin HTML-ə yerləşdirin.
Mənbələr
- Google Search Central: JavaScript SEO basics
- Apple: About Applebot
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers