robots.txt GPTBot-কে অনুমতি দেয়, কিন্তু সার্ভার ব্লক করে
আপনার robots.txt এই ক্রলারকে পেজটি আনার অনুমতি দেয়, কিন্তু এর ইউজার এজেন্ট দিয়ে পাঠানো অনুরোধ সার্ভার, CDN বা ফায়ারওয়াল ব্লক করেছে। ঘোষিত নীতি ও আসল আচরণ মেলে না। ফায়ারওয়াল রুলটি robots.txt-এর সঙ্গে মিলিয়ে বদলান, অথবা ব্লক করাই উদ্দেশ্য হলে robots.txt-এ ক্রলারটিকে নিষিদ্ধ করুন।
এর মানে কী
আপনার রুল GPTBot-কে ঢুকতে দেয়, তবুও এর ইউজার এজেন্ট দিয়ে পাঠানো অনুরোধ ব্লক হয়েছে। ফায়ারওয়াল বা CDN আপনার ঘোষিত নীতিকে উপেক্ষা করছে।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
ক্রলার robots.txt-কে আপনার নীতি হিসেবে ধরে। এটি হ্যাঁ বললে আর সার্ভার 403 দিলে ক্রলার অনুরোধ নষ্ট করে, পরে আবার চেষ্টা করতে পারে, আর পেজটি তবুও উত্তর ইঞ্জিনের ইনডেক্সে পৌঁছায় না। অনেক টিম মনে করে তারা AI সার্চকে অনুমতি দিচ্ছে, কারণ robots.txt তা-ই বলে, অথচ একটি বট রুল নিঃশব্দে সেটি ব্লক করে রাখে।
পরীক্ষাটি একটি অযাচাইকৃত IP ঠিকানা থেকে চলে। যে রুল ক্রলারকে শুধু তার প্রকাশিত IP রেঞ্জ থেকে ঢুকতে দেয়, যা একটি যুক্তিসংগত ব্যবস্থা, সেটি তাই এখানে দেখা দিতে পারে, যদিও আসল ক্রলার ঢুকতে পারে। কিছু বদলানোর আগে দেখুন কোন রুল চালু হয়েছে।
কীভাবে ঠিক করবেন
- পর্যবেক্ষণে robots.txt গ্রুপ ও ব্লক হওয়া অনুরোধের স্ট্যাটাস তুলনা করুন। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।
- যে রুল অনুরোধটি ব্লক করেছে সেটি খুঁজুন: Cloudflare-এ Security → Events এবং AI Crawl Control ও Bot Fight Mode সেটিং দেখুন; অন্য CDN-এ বট ম্যানেজমেন্ট লগ দেখুন।
- ক্রলারকে ঢুকতে দিতে চাইলে তার জন্য একটি ব্যতিক্রম যোগ করুন; বাইরে রাখতে চাইলে তার টোকেনের জন্য একটি Disallow গ্রুপ যোগ করুন, যাতে আপনার নীতি এক জায়গায় লেখা থাকে।
সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।