robots.txt একটি HTML পেজ

সংক্ষিপ্ত উত্তর

/robots.txt ঠিকানা একটি HTML ডকুমেন্ট দেয়, সাধারণত স্ট্যাটাস 200 সহ একটি 404 পেজ বা হোম পেজ। ক্রলার HTML থেকে কোনো রুল পড়তে পারে না। ওই পাথে একটি প্লেইন-টেক্সট robots.txt দিন, অথবা আপনার কোনো রুল না থাকলে আসল 404 স্ট্যাটাস দিন।

robots.invalid · অগ্রাধিকার: P2

এর মানে কী

robots.txt-এর ঠিকানা HTML ফেরত দেয় (প্রায়ই স্ট্যাটাস 200 দিয়ে পাঠানো একটি 404 পেজ), তাই ক্রলাররা কোনো রুল পড়তে পারে না।

AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ

ক্রলার robots.txt লাইন ধরে ধরে পার্স করে এবং যা বোঝে না তা উপেক্ষা করে, তাই একটি HTML পেজ থেকে তারা কোনো রুল বা Sitemap লাইন পায় না। আপনার উদ্দিষ্ট নীতি, যেমন ট্রেনিং ক্রলার ব্লক করা বা সার্চ ক্রলারকে অনুমতি দেওয়া, প্রয়োগ হয় না, এবং সেখানে ঘোষিত সাইটম্যাপও পাওয়া যায় না।

এটি সাধারণত হয় সিঙ্গেল-পেজ অ্যাপ ও catch-all রুটে, যেগুলো প্রতিটি অজানা পাথে অ্যাপ শেল ও স্ট্যাটাস 200 দিয়ে উত্তর দেয়। AISeeWhy Content-Type হেডার নয়, বডি দেখে বিচার করে, কারণ ক্রলারও তা-ই করে: text/html হিসেবে দেওয়া একটি টেক্সট ফাইলও পড়া হয়, কিন্তু HTML পেজ নয়।

কীভাবে ঠিক করবেন

  1. /robots.txt খুলে সোর্স দেখুন: এটি <!doctype বা <html দিয়ে শুরু হলে ফাইলটি নেই এবং একটি ফলব্যাক রুট উত্তর দিচ্ছে।
  2. একটি আসল ফাইল যোগ করুন: Next.js, Vite বা Create React App-এ public/robots.txt, nginx বা Apache-এ ওয়েব রুট, অথবা Shopify-তে robots.txt.liquid টেমপ্লেট।
  3. nginx-এ নিশ্চিত করুন যে স্ট্যাটিক ফাইল দেখার আগেই একটি try_files ... /index.html ফলব্যাক /robots.txt-কে ধরে ফেলছে না; দরকার হলে location = /robots.txt যোগ করুন।
  4. অজানা পাথের জন্য স্ট্যাটাস 404 পাঠাতে আপনার catch-all রুট ঠিক করুন। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।

উদাহরণ

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন

পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।

আমার পেজ চেক করুন →

সম্পর্কিত গাইড

সব পর্যবেক্ষণ এবং স্কোর কীভাবে কাজ করে