robots.txt আনা যাচ্ছে না

সংক্ষিপ্ত উত্তর

/robots.txt আনা যায়নি: সার্ভার 5xx বা 429 স্ট্যাটাস দিয়েছে, অথবা কোনো উত্তরই দেয়নি। RFC 9309 অনুযায়ী তখন ক্রলার পুরো সাইটকে নিষিদ্ধ ধরে নেয়। /robots.txt যেন প্লেইন টেক্সটসহ স্ট্যাটাস 200 দেয়, অথবা আপনার কোনো রুল না থাকলে 404 দেয়, তা নিশ্চিত করুন।

robots.unreachable · অগ্রাধিকার: P1

এর মানে কী

robots.txt স্ট্যাটাস 403 দিয়ে উত্তর দিয়েছে বা উত্তর দেয়নি। RFC 9309 অনুযায়ী ক্রলাররা তখন পুরো সাইটকে নিষিদ্ধ ধরে।

AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ

RFC 9309 বলে, সার্ভার এররের কারণে যে ক্রলার robots.txt-এ পৌঁছাতে পারে না, তাকে পুরো নিষেধ ধরে নিতে হবে। Googlebot, Bingbot এবং মানদণ্ড মেনে চলা AI ক্রলার robots.txt আবার উত্তর না দেওয়া পর্যন্ত পেজ আনা বন্ধ রাখে, তাই একটি ভাঙা ফাইল পুরো সাইট লুকিয়ে ফেলতে পারে।

ফাইল না থাকা ভিন্ন ব্যাপার: 404 বা অন্য কোনো 4xx স্ট্যাটাস মানে কোনো রুল নেই, তাই সবকিছু অনুমোদিত এবং AISeeWhy কিছু জানায় না। সমস্যা শুধু সার্ভার এরর, রেট লিমিট (429) এবং কোনো স্ট্যাটাস আসার আগেই টাইম আউট বা প্রত্যাখ্যাত অনুরোধ।

কীভাবে ঠিক করবেন

  1. আপনার নেটওয়ার্কের বাইরে থেকে https://your-domain/robots.txt খুলুন এবং স্ট্যাটাসটি লিখে রাখুন। অডিট এটি একটি ব্রাউজার ইউজার এজেন্ট দিয়ে আনে।
  2. এটি 5xx হলে অরিজিনের রুট দেখুন: Next.js-এর মতো ফ্রেমওয়ার্ক এটি public/robots.txt বা app/robots.ts থেকে দেয়, WordPress এটি ডায়নামিকভাবে তৈরি করে, তাই একটি PHP এরর এটিকে ভেঙে দেয়।
  3. এটি 429 বা টাইম আউট হলে আপনার CDN বা WAF-এ /robots.txt-কে রেট লিমিটিং ও বট চ্যালেঞ্জ থেকে ছাড় দিন।
  4. CDN-এ robots.txt ক্যাশ করুন, যাতে অরিজিন ধীর হলেও এটি উত্তর দেয়। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।

সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন

পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।

আমার পেজ চেক করুন →

সম্পর্কিত গাইড

সব পর্যবেক্ষণ এবং স্কোর কীভাবে কাজ করে