Cloudflare-এ গেছেন? দেখুন AI ক্রলার এখনও ঢুকতে পারে কি না
অনেক Cloudflare সেটআপে বট সুরক্ষা, “Block AI bots” ও WAF নিয়ম ডিফল্টভাবে চালু থাকে। আপনার দিকে কোনো ত্রুটি ছাড়াই এগুলো AI সার্চ ক্রলারকে ফিরিয়ে দিতে পারে।
ফ্রি · সাইন-আপ লাগবে না · ৩০ সেকেন্ডে ফল
কী তাদের আটকায়
Bot Fight Mode, AI বট ব্লকিং, managed challenge এবং কাস্টম WAF নিয়ম, যা কোনো ক্রলারের ইউজার এজেন্ট বা তার নেটওয়ার্কের সঙ্গে মিলে যায়।
আমরা কী চেক করি
একটি সাধারণ ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে আনা আপনার পেজ, স্ট্যাটাস কোড এবং ব্লক দেখানো Cloudflare হেডারসহ।
নিয়ন্ত্রণে রাখুন
নিয়ম বদলায়। মনিটরিং আপনার মূল পেজগুলো আবার চেক করে এবং কোনো ক্রলার আবার আটকে গেলে আপনাকে ইমেইল করে।
রিডিজাইনের পরে · Shopify-তে যাওয়ার পরে · robots.txt পরিবর্তনের পরে