robots.txt-এ কোনো Content-Signal নেই
আপনার robots.txt-এ কোনো Content-Signal লাইন নেই। এই ঐচ্ছিক লাইনটি বলে আপনার কনটেন্ট কীভাবে ব্যবহার করা যাবে: সার্চের ফলাফলে, AI উত্তরের ইনপুট হিসেবে, নাকি AI ট্রেনিংয়ে। এটি না থাকলে কিছু ভাঙে না। আপনার ব্যবহারের নীতি মেশিনে পড়ার মতো আকারে লিখে রাখতে চাইলে একটি যোগ করুন।
এর মানে কী
একটি Content-Signal লাইন জানায় আপনার কনটেন্ট কীভাবে ব্যবহার করা যাবে (সার্চ, AI উত্তর, ট্রেনিং)। এটি ঐচ্ছিক; নীতিটি স্পষ্ট করতে চাইলে যোগ করুন।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
robots.txt শুধু বলে একটি ক্রলার পেজ আনতে পারবে কি না, পরে কনটেন্ট দিয়ে কী করা যাবে তা নয়। Cloudflare-এর Content Signals Policy-তে চালু হওয়া Content-Signal তিনটি কী যোগ করে: search, ai-input (রিয়েল টাইমে একটি প্রশ্নের উত্তর দিতে কনটেন্ট ব্যবহার) ও ai-train।
ক্রলার এটি মানতে বাধ্য নয়, তাই AISeeWhy এটিকে P3 ধরে। তবুও যে ক্রলার দুটোই করতে পারে তাকে অনুমতি দিলে "উত্তরে এটি ব্যবহার করতে পারেন" আর "এটি দিয়ে ট্রেনিং করবেন না" আলাদা করার এটি একটি স্পষ্ট উপায়, এবং ফাইলটি যে-ই পড়ুক তার জন্য আপনার নীতি লিখে রাখে।
কীভাবে ঠিক করবেন
search,ai-inputওai-train-এর প্রতিটির জন্য আপনার নীতি ঠিক করুন।- robots.txt-এর
User-agent: *গ্রুপের ভেতরে, এর Allow ও Disallow রুলের পাশে একটিContent-Signalলাইন যোগ করুন। - আপনার সাইট Cloudflare-এ থাকলে দেখুন এর ম্যানেজড robots.txt আগে থেকেই এই সিগন্যাল যোগ করছে কি না, যাতে আপনি দুবার না লেখেন।
- আপনার Allow ও Disallow রুল যেমন আছে তেমনই রাখুন: Content-Signal এগুলোর জায়গা নেয় না। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।
উদাহরণ
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।