AI kraulerlari monitoringi

Firewall qoidasi, CDN sozlamasi yoki yangi robots.txt AI kraulerlarini bir kechada toʻsib qoʻyishi mumkin, odamlarga esa saytingizda hech narsa buzilmagandek koʻrinadi. Monitoring muhim sahifalaringizni qayta tekshiradi va ularni yangi biror narsa bloklaganda sizga email yuboradi.

Bepul · Roʻyxatdan oʻtmasdan · Natija 30 soniyada

Tariflar va narxlar → Toʻliq hisobot namunasini koʻring →

Bu matn ingliz tilidan mashina tarjimasi yordamida tarjima qilingan.

Monitoring nimani tekshiradi

Har bir ishga tushirish bosh sahifamizdagi bepul tekshiruv bilan bir xil. Sahifangiz 16 ta AI va qidiruv krauleri sifatida, curl sifatida va kompyuter brauzeri sifatida, har biri oʻzining eʼlon qilingan user agenti bilan yuklanadi. robots.txt har bir krauler tokeni uchun baholanadi, sahifaning tuzilgan maʼlumotlari, kontenti, sanalari, sitemaplari, hreflang va llms.txt tekshiriladi. Natija 0 dan 100 gacha ball va P1 dan P3 gacha ustuvorlikka ega topilmalar roʻyxati.

Email qachon keladi

Kuzatiladigan sahifalar tanlovingizga koʻra har kuni yoki har hafta qayta tekshiriladi. Yangi bloklovchi muammo paydo boʻlganda, masalan, krauler endi 403 yoki challenge sahifasini olayotganda, yoki ball 10 va undan koʻp ochkoga tushganda email olasiz. Email nima oʻzgarganini aytadi va tuzatish yozilgan hisobotga havola beradi.

Nimani koʻra olmaydi

Soʻrovlar krauler operatorlarining oʻz IP manzillaridan emas, bizning serverimizdan har bir kraulerning user agenti bilan yuboriladi. Haqiqiy kraulerlarga IP boʻyicha ishonadigan firewall ularga bizdan boshqacha munosabatda boʻlishi mumkin va har bir bloklash topilmasi buni qayd etadi. Haqiqiy kraulerlarga qanday javob berilganini koʻrish uchun pullik tariflardagi server logi tekshiruvi access logingizni oʻqiydi va har bir AI kraulerining tashriflari va status kodlarini sanaydi.

Monitoringli tariflar

Bepul tarifda monitoring yoʻq: u kuniga bitta tekshiruvni ball va birinchi topilma bilan beradi. Tariflar oylik toʻlanadi, istalgan vaqtda bekor qilinishi mumkin va har bir toʻlov 14 kun ichida toʻliq qaytarilishi mumkin.

Qanday boshlash kerak

  1. Eng muhim sahifangizda bepul tekshiruvni ishga tushiring va birinchi topilmani koʻring.
  2. Narxlar sahifasida tarif tanlang va emailingiz bilan kiring.
  3. Kuzatiladigan sahifalarni hisobingizdagi Monitoring boʻlimiga qoʻshing: bosh sahifa, narxlar, asosiy mahsulot yoki xizmat sahifalari va muhim maqolalar.
  4. Har kuni yoki har haftani tanlang. Tuzatishdan keyin oldingi va keyingi ballni koʻrish uchun sahifani qayta tekshiring.

Koʻp beriladigan savollar

Qaysi oʻzgarishlar ogohlantirishga sabab boʻladi?

Kuzatiladigan sahifada yangi bloklovchi muammo, masalan, endi rad etilayotgan krauler, yoki oldingi tekshiruvdan beri ballning 10 va undan koʻp ochkoga tushishi.

Monitoring haqiqiy GPTBot yoki ClaudeBotʼdan foydalanadimi?

Yoʻq. U ularning eʼlon qilingan user agentlarini bizning serverimizdan yuboradi. Bu firewall va serveringiz oʻsha user agentlarga qanday munosabatda boʻlishini koʻrsatadi; haqiqiy tashriflarni server logi tekshiruvi koʻrsatadi.

Mijoz saytlarini kuzata olamanmi?

Ha, Business, Agency va Enterprise tariflarida. Pro shaxsiy, notijorat foydalanish uchun.

Toʻlashdan oldin sinab koʻrsam boʻladimi?

Bepul tekshiruv bitta ishga tushirish istalgan sahifada nimani topishini koʻrsatadi. Monitoringning oʻzi pullik tarifni talab qiladi, uni istalgan vaqtda bekor qilib, 14 kun ichida pulingizni qaytarib olishingiz mumkin.

Tegishli vositalar va qoʻllanmalar