Cloudflare ga oʻtdingizmi? AI kraulerlari hali ham kira olishini tekshiring
Botlardan himoya, "Block AI bots" va WAF qoidalari koʻplab Cloudflare sozlamalarida standart holatda yoqilgan. Ular sizning tomoningizda hech qanday xatosiz AI qidiruv kraulerlarini qaytarib yuborishi mumkin.
Bepul · Roʻyxatdan oʻtmasdan · Natija 30 soniyada
Ularni nima bloklaydi
Bot Fight Mode, AI botlarini bloklash, boshqariladigan challenge’lar va krauler user agent’i yoki uning tarmogʻiga mos keladigan maxsus WAF qoidalari.
Nimani tekshiramiz
Sahifalaringiz oddiy brauzer bilan yonma-yon 16 ta AI va qidiruv krauleri sifatida yuklab olinadi, status kodi va blokni koʻrsatuvchi Cloudflare sarlavhasi bilan.
Nazoratda tuting
Qoidalar oʻzgaradi. Monitoring asosiy sahifalaringizni qayta tekshiradi va krauler yana chetlatilganda sizga email yuboradi.
Qayta dizayndan keyin · Shopify ga oʻtgandan keyin · robots.txt oʻzgargandan keyin