AI kraulerlari JavaScript render qilgan kontentni oʻqiy oladimi?

Eʼlon qilingan

Qisqa javob

Koʻpincha yoʻq. Googlebot JavaScriptʼni keyingi bosqichda render qiladi, lekin AI kraulerlarining koʻpchiligi buni qilishini hujjatlashtirmagan, Googleʼning oʻzi esa hamma botlar ham JavaScriptʼni ishga tushira olmasligini taʼkidlaydi. Agar matningiz faqat skriptlar ishga tushgandan keyin paydo boʻlsa, AI krauleri boʻsh sahifa olishi mumkin. Asosiy kontentni server tomonida rendering yoki statik sahifalar yordamida dastlabki HTMLʼda bering.

Single-page ilovalar va mijoz tomonidagi freymvorklar hamma joyda va brauzerda ular yaxshi koʻrinadi. Faqat serveringiz yuborgan HTMLʼni oʻqiydigan krauler esa boshqa narsani koʻradi: <div id="root"></div>, bir nechta script tegi va oz yoki umuman matn yoʻq. AI javoblari uchun bunday sahifada iqtibos keltirishga hech narsa yoʻq.

Ushbu sahifada
  1. Nega AI kraulerlari JavaScript kontentini oʻtkazib yuboradi?
  2. Krauler nima olishini qanday tekshiraman?
  3. Qaysi sahifalar eng koʻp xavf ostida?
  4. Faqat JavaScriptʼdagi kontentni qanday tuzataman?
  5. Login, rozilik va paywall ekranlari ham AI kraulerlarini bloklaydimi?
  6. AISeeWhy faqat JavaScriptʼdagi sahifalarni qanday aniqlaydi?

Nega AI kraulerlari JavaScript kontentini oʻtkazib yuboradi?

JavaScriptʼni ishga tushirish qimmat. Krauler skriptlarni yuklab olishi, ularni brauzer dvigatelida bajarishi va maʼlumotlar yuklanishini kutishi kerak. Google buni Search uchun qiladi: u kraul qiladi, sahifalarni rendering navbatiga qoʻyadi va resurslar imkon berganda ularni headless Chromium bilan render qiladi. Shunga qaramay, Google server tomonida rendering yoki prerenderingni tavsiya qiladi, chunki u foydalanuvchilar va kraulerlar uchun tezroq, shuningdek hamma botlar ham JavaScriptʼni ishga tushira olmasligini taʼkidlaydi.

OpenAI, Anthropic va Perplexity kraulerlar hujjatlarida ularning agentlari JavaScriptʼni bajarishini aytmaydi. Apple Applebot sahifalarni brauzerda render qilishi mumkinligini aytadi. Aniq bayonot boʻlmasa, AI kraulerlari haqida xavfsiz taxmin shuki, ular faqat dastlabki HTMLʼni oʻqiydi.

Krauler nima olishini qanday tekshiraman?

Render qilingan sahifaga emas, xom HTMLʼga qarang. Brauzerning dasturchi vositalari skriptlar ishlagandan keyingi DOMʼni koʻrsatadi, krauler esa buni olmaydi. view-source dan foydalaning yoki xom HTMLʼni buyruq qatoridan saqlab, unda qidiring:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

0 natijasi bu gap server yuborgan HTMLʼda yoʻqligini bildiradi, shuning uchun skriptlarni ishga tushirmaydigan kraulerlar uni topa olmaydi. Faylga bir qarash qolganini aytib beradi: serverda render qilingan maqolaning toʻliq matni u yerda boʻladi; mijoz tomonidagi qobiqda esa boʻsh root elementi va skriptlar roʻyxati boʻladi.

Qaysi sahifalar eng koʻp xavf ostida?

Faqat JavaScriptʼdagi kontentni qanday tuzataman?

Yechim — muhim kontentni birinchi javobda yuborish. Stekingiz imkon beradigan eng yengil variantni tanlang:

Butun ilovani birdaniga oʻzgartirish shart emas. Iqtibos keltirilishini istagan sahifalardan boshlang: maqolalar, hujjatlar, mahsulot va narx sahifalari. Hisob boʻlimlari va dashboardʼlar mijoz tomonida qolishi mumkin, chunki ular baribir login ortida.

Kraulerlarga user agentiga qarab foydalanuvchilardan boshqa sahifa bermang. Hamma uchun bir xil HTMLʼni render qilish yuritish uchun soddaroq va cloaking haqidagi har qanday shubhaning oldini oladi.

Login, rozilik va paywall ekranlari ham AI kraulerlarini bloklaydimi?

Ha. Krauler tizimga kirmaydi, cookie bannerini bosmaydi va challengeʼlarni yechmaydi. Anthropic oʻz botlari CAPTCHAʼlarni chetlab oʻtishga urinmasligini aytadi. Agar rozilik menejeri sahifani HTMLʼda butun ekranli qatlam bilan almashtirsa yoki birinchi marta kelgan tashrifchilarni rozilik sahifasiga yoʻnaltirsa, krauler kontentingiz oʻrniga shuni oladi.

Ommaviy sahifalar rozilik holatidan qatʼi nazar kontentini HTMLʼda render qilishiga, banner esa almashtiruvchi emas, ustki qatlam boʻlishiga ishonch hosil qiling. Iqtibos keltirilishini istagan sahifalarni login devorlaridan tashqarida saqlang va krauler kirish sahifasiga yoʻnaltirilmasligini tekshiring.

AISeeWhy faqat JavaScriptʼdagi sahifalarni qanday aniqlaydi?

AISeeWhy dastlabki HTMLʼni har bir krauler qanday olsa, xuddi shunday, skriptlarni ishga tushirmasdan oʻqiydi. Sahifada koʻrinadigan matn deyarli boʻlmasa-yu, freymvorkning root elementi va skriptlar boʻlsa, u kontentga JavaScript kerakligi haqida P1 topilmasini beradi. U shuningdek, kraulerlarni brauzer oladigan sahifadan boshqa joyga yuboradigan yoʻnaltirishlarni ham belgilaydi.

Bu muammo uchun tuzatishlar

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

Googlebot JavaScriptʼni render qiladimi?

Ha. Google HTMLʼni kraul qiladi, sahifalarni rendering navbatiga qoʻyadi va resurslar imkon berganda ularni headless Chromium bilan render qiladi. Google baribir server tomonida rendering yoki prerenderingni tavsiya qiladi.

ChatGPT, Claude va Perplexity kraulerlari JavaScriptʼni ishga tushiradimi?

Ularning ishlab chiquvchilari kraulerlar hujjatlarida bu haqda aytmaydi. Ishlab chiquvchi boshqacha demaguncha, krauler dastlabki HTMLʼni oʻqiydi deb hisoblang va kontentingiz unda boʻlishiga ishonch hosil qiling.

Botlar uchun dynamic rendering yaxshi fikrmi?

U vaqtinchalik yechim sifatida ishlaydi, lekin yuritish kerak boʻlgan ikkinchi rendering yoʻlini qoʻshadi. Server tomonida rendering yoki statik HTML hammaga bir xil kontentni beradi va uzoq muddatda soddaroq yechim hisoblanadi.

JavaScript qoʻshgan JSON-LD hisobga olinadimi?

Google uni renderingdan keyin oʻqiy oladi, lekin skriptlarni ishga tushirmaydigan kraulerlar uni koʻrmaydi. JSON-LDʼni dastlabki HTMLʼga joylashtiring.

Manbalar

Boshqa maqolalar