OAI-SearchBot ব্লক করা
এই ক্রলারের ইউজার এজেন্ট দিয়ে পাঠানো একটি অনুরোধ প্রত্যাখ্যান করা হয়েছে: এটি 4xx বা 5xx স্ট্যাটাস, Cloudflare-এর cf-mitigated হেডার বা একটি চ্যালেঞ্জ পেজ পেয়েছে, অথচ একটি সাধারণ ব্রাউজারের অনুরোধ পেজটি পেয়েছে। যে ফায়ারওয়াল, CDN বা বট রুল এই ইউজার এজেন্টের সঙ্গে মেলে সেটি খুঁজে বের করুন এবং ক্রলারকে ঢুকতে দিন।
এর মানে কী
OAI-SearchBot ইউজার এজেন্ট দিয়ে পাঠানো অনুরোধ স্ট্যাটাস 403 বা একটি চ্যালেঞ্জ পেজ পেয়েছে, অথচ একটি ব্রাউজার পেজটি পেয়েছে। যাচাই না করা IP থেকে পরীক্ষা করা হয়েছে: এটি দেখায় আপনার ফায়ারওয়াল এই ইউজার এজেন্টের সঙ্গে কেমন আচরণ করে; যাচাই করা IP থেকে আসা আসল ক্রলারের সঙ্গে আচরণ ভিন্ন হতে পারে।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ও Perplexity-User-এর মতো সার্চ ও ইউজার ক্রলার উত্তর এবং তার নিচের লিংক তৈরি করতে পেজ আনে। এরা 403 বা চ্যালেঞ্জ পেজ পেলে পেজটি যত ভালোই হোক, উদ্ধৃত বা লিংক করা যায় না। তাই AISeeWhy এই ক্রলারগুলোর ব্লককে P1 হিসেবে ধরে।
ট্রেনিং ক্রলার (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 হিসেবে ধরা হয়: এগুলো ব্লক করা নীতিগত সিদ্ধান্ত, ভুল নয়। পরীক্ষাটি একটি অযাচাইকৃত IP থেকে চলে, তাই এটি দেখায় আপনার রুল ইউজার এজেন্টের সঙ্গে কেমন আচরণ করে; আসল ক্রলার তার প্রকাশিত IP রেঞ্জ থেকে আসে, তাই তার সঙ্গে আচরণ ভিন্ন হতে পারে।
কীভাবে ঠিক করবেন
- পর্যবেক্ষণটি খুলে দেখুন কোন ক্রলার ব্লক হয়েছে, সেটি কোন স্ট্যাটাস পেয়েছে এবং অডিট কোন WAF শনাক্ত করেছে। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।
- Cloudflare-এ ব্লক হওয়া অনুরোধটির জন্য Security → Events দেখুন, তারপর ক্রলারের সঙ্গে মেলে এমন একটি WAF কাস্টম রুল যোগ করুন (verified bots বা তার ইউজার এজেন্ট টোকেন), যার অ্যাকশন হবে বাকি কাস্টম রুল, Super Bot Fight Mode ও রেট লিমিটিংয়ের জন্য Skip। AI Crawl Control-এ ক্রলারটিকে Allow করুন।
- Vercel, Akamai, Imperva, Sucuri বা AWS WAF-এ যে বট ম্যানেজমেন্ট বা ম্যানেজড রুল চালু হয়েছে সেটি খুঁজুন এবং ক্রলারের জন্য একটি ব্যতিক্রম যোগ করুন, সম্ভব হলে শুধু ইউজার এজেন্ট দিয়ে নয়, বরং ভেন্ডরের প্রকাশিত IP রেঞ্জ বা reverse DNS দিয়ে যাচাই করে।
- nginx বা Apache-এ কনফিগে এমন
deny,return 403বাRewriteCond %{HTTP_USER_AGENT}লাইন খুঁজুন যেগুলোতে ক্রলারের নাম আছে, আর WordPress-এ "bad bots" ব্লক করে এমন সিকিউরিটি প্লাগইন দেখুন। - প্রতিটি ক্রলারের জন্য আলাদা করে সিদ্ধান্ত নিন: সার্চ ও ইউজার ক্রলারকে অনুমতি দিলেই পেজ উদ্ধৃত হয়, আর আপনার নীতি হলে ট্রেনিং ক্রলার ব্লকই থাকতে পারে।
উদাহরণ
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।
সম্পর্কিত গাইড
- Cloudflare-এর AI Crawl Control রিপোর্ট কীভাবে পড়বেন ও কোন AI ক্রলার ঢুকতে পারে দেখবেন
- Cloudflare কি AI ক্রলার ব্লক করছে? কীভাবে খুঁজবেন ও ঠিক করবেন
- ChatGPT কি আমার ওয়েবসাইট দেখতে পায়? কীভাবে চেক করবেন
- পেজ প্রকাশের আগে চালানোর মতো 12টি AEO যাচাই (2027)
- SEO 2.0: AI সার্চ ও অ্যাসিস্ট্যান্ট কীভাবে SEO বদলে দিল, স্তর ধরে ধরে