GPTBot-কে অন্য জায়গায় রিডাইরেক্ট করা হয়
এই ক্রলারের ইউজার এজেন্ট দিয়ে পাঠানো অনুরোধ ব্রাউজার যে পেজে পৌঁছায় তার বদলে অন্য কোথাও শেষ হয়েছে: অন্য হোস্টে, অথবা এমন পাথে যাতে login, signin, captcha বা blocked আছে। ইউজার এজেন্টকে লক্ষ্য করে থাকা রিডাইরেক্ট রুলটি সরান, যাতে ক্রলার মানুষের মতো একই URL-এ পৌঁছায়।
এর মানে কী
GPTBot ইউজার এজেন্ট দিয়ে পাঠানো অনুরোধ শেষ হয় https://example.com/b-এ, ব্রাউজার যে পেজ পায় সেখানে নয়।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
যে ক্রলারকে লগইন ফর্ম, ক্যাপচা পেজ বা অন্য ডোমেইনে রিডাইরেক্ট করা হয়, সে যে কনটেন্টের জন্য এসেছিল তা কখনো পড়ে না। তখন উত্তর ইঞ্জিন হয় পেজটি বাদ দেয়, নয়তো কনটেন্টটিকে শেষ URL-এর নামে ধরে, যা প্রায়ই উদ্ধৃত করার মতো কিছু নেই এমন একটি সাধারণ পেজ।
এই রিডাইরেক্ট সাধারণত আসে বট সুরক্ষা, পেওয়াল, মেম্বারশিপ বা জিও রুল থেকে, যেগুলো ইউজার এজেন্ট দেখে কাজ করে। OAI-SearchBot, Claude-User ও PerplexityBot-এর মতো সার্চ ও ইউজার ক্রলার ট্রেনিং ক্রলারের মতোই প্রভাবিত হয়, তাই এই পর্যবেক্ষণের অগ্রাধিকার ক্রলারের ভূমিকা অনুযায়ী ঠিক হয়।
কীভাবে ঠিক করবেন
- ক্রলারকে কোথায় পাঠানো হয়েছে দেখতে পর্যবেক্ষণে শেষ URL-টি পড়ুন। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।
- আপনার CDN-এর রিডাইরেক্ট রুল (Cloudflare Redirect Rules, Page Rules বা Workers), nginx-এর
return 301/302বাrewriteব্লক এবং Apache-এ ইউজার এজেন্ট শর্তসহRewriteRuleলাইন দেখুন। - WordPress বা Shopify-তে মেম্বারশিপ, বয়স যাচাই, মেইনটেন্যান্স মোড ও জিও-রিডাইরেক্ট অ্যাপ দেখুন, যেগুলো অচেনা ভিজিটরকে লগইন বা দেশের পেজে পাঠায়।
- ক্রলারকে রুল থেকে ছাড় দিন, অথবা রিডাইরেক্ট না করে মূল URL-এই সীমাবদ্ধ কনটেন্টের পাবলিক সারাংশ দেখান।
সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।