GPTBot একটি স্টাব পেজ পায়
ক্রলার স্ট্যাটাস 200 পেয়েছে, কিন্তু আসল পেজ পায়নি। এর দৃশ্যমান টেক্সট ব্রাউজারের পাওয়া টেক্সটের 15%-এর কম, অথবা এতে "access denied" বা "are you a robot"-এর মতো ব্লকের বাক্য আছে, যা ব্রাউজারের পেজে নেই। যে বট রুল এই স্টাব পেজ দেয় সেটি খুঁজে বের করুন এবং ক্রলারকে পুরো পেজ দেখতে দিন।
এর মানে কী
GPTBot ইউজার এজেন্ট দিয়ে পাঠানো অনুরোধ স্ট্যাটাস 200 পেয়েছে, কিন্তু পেজের টেক্সট একটি ব্লক নোটিস, অথবা ব্রাউজার যা পায় তার চেয়ে অনেক ছোট।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
সফট ব্লক 403-এর চেয়ে ধরা কঠিন, কারণ লগ ও আপটাইম মনিটরে 200 দেখায়। ক্রলার যে টেক্সট পায় তা-ই সংরক্ষণ করে, তাই একটি উত্তর ইঞ্জিন আপনার কনটেন্টের বদলে "enable JavaScript and cookies" লেখা পেজ ইনডেক্স করতে পারে, অথবা পেজটিকে দুর্বল কনটেন্ট মনে করে বাদ দিতে পারে।
চেকটি তখনই চলে যখন ব্রাউজার সংস্করণে অন্তত 200 অক্ষরের টেক্সট থাকে। দুটি রেসপন্সই একই সার্ভার থেকে অল্প সময়ের ব্যবধানে আনা হয়, তাই টেক্সটে বড় পার্থক্য আসে আপনার স্ট্যাক ক্রলারের ইউজার এজেন্টের সঙ্গে কেমন আচরণ করে তা থেকে, নেটওয়ার্ক বা কনটেন্টের পরিবর্তন থেকে নয়।
কীভাবে ঠিক করবেন
- রিপোর্টের প্রমাণে থাকা টেক্সটের দৈর্ঘ্য ও মিলে যাওয়া বাক্য ব্রাউজার সংস্করণের সঙ্গে তুলনা করুন। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।
- এমন বট ম্যানেজমেন্ট ফিচার খুঁজুন যা এররের বদলে একটি মধ্যবর্তী পেজ দিয়ে উত্তর দেয়: Cloudflare-এর চ্যালেঞ্জ বা JavaScript শনাক্তকরণ পেজ, Imperva ও Akamai-এর বট পেজ, অথবা "verify you are human" প্লাগইন।
- বটকে আলাদা টেমপ্লেট দেয় এমন ডায়নামিক রেন্ডারিং বা ক্যাশ রুল দেখুন, এবং অচেনা ভিজিটরের জন্য পেজ বদলে দেয় এমন A/B টেস্টিং বা জিও টুলও দেখুন।
- যে রুল স্টাব পেজ দেয় তাতে ক্রলারের জন্য একটি ব্যতিক্রম যোগ করুন, আপনার প্ল্যাটফর্ম সমর্থন করলে IP রেঞ্জ বা reverse DNS দিয়ে যাচাই করে।
সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।