robots.txt OAI-SearchBot-কে নিষেধ করে

সংক্ষিপ্ত উত্তর

আপনার robots.txt-এ একটি Disallow রুল আছে যা এই ক্রলারের টোকেনের জন্য এই পেজের সঙ্গে মেলে। অডিট RFC 9309 প্রয়োগ করে: ক্রলারের নিজস্ব গ্রুপ থাকলে সেটি, না থাকলে * গ্রুপ, আর সবচেয়ে লম্বা মিলে যাওয়া রুলটি প্রাধান্য পায়। ক্রলারকে ঢুকতে দিতে চাইলে তার জন্য একটি Allow যোগ করুন বা রুলটি সরান।

robots.disallowed · অগ্রাধিকার: P1–P3, ক্রলারের ধরন অনুযায়ী

এর মানে কী

আপনার robots.txt-এর রুল OAI-SearchBot-কে / আনতে বাধা দেয়।

AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ

নিয়ম মেনে চলা AI ক্রলার robots.txt মানে। OAI-SearchBot, Claude-SearchBot বা PerplexityBot নিষিদ্ধ হলে তাদের সার্চ ইনডেক্সের জন্য পেজটি আনা হয় না, তাই তাদের উত্তরে এটি উদ্ধৃত হতে পারে না। GPTBot, ClaudeBot, Google-Extended বা Applebot-Extended-এর মতো ট্রেনিং টোকেন নিষিদ্ধ করলে শুধু মডেল ট্রেনিংয়ে ব্যবহার বন্ধ হয়।

অনেক সাইট ভুল করে AI ক্রলার ব্লক করে: এমন টেমপ্লেট যা Googlebot ছাড়া সবকিছু নিষিদ্ধ করে, অথবা স্টেজিং থেকে রয়ে যাওয়া Disallow: / সহ একটি User-agent: * গ্রুপ। মনে রাখবেন, Applebot-এর নিজস্ব গ্রুপ না থাকলে এটি Googlebot-এর গ্রুপ ব্যবহার করে।

কীভাবে ঠিক করবেন

  1. পর্যবেক্ষণে রুলটি খুঁজুন: এতে ক্রলারের টোকেন ও পাথের উল্লেখ আছে। AISeeWhy রিপোর্টে প্রমাণ ও পেস্ট করার মতো তৈরি সমাধান দেখানো হয়; পরে ফলাফল নিশ্চিত করতে "আবার চেক করুন" চালান।
  2. যে গ্রুপ পেজটি নিষিদ্ধ করে সেখান থেকে ক্রলারের টোকেন সরান, তারপর Allow: / দিয়ে তার নিজস্ব গ্রুপ যোগ করুন। নির্দিষ্ট গ্রুপ সেই ক্রলারের জন্য * গ্রুপের জায়গা নেয়, তাই *-এর অধীন রুল আর তার ক্ষেত্রে প্রযোজ্য নয়।
  3. WordPress-এ দেখুন robots.txt ওয়েব রুটে থাকা আসল ফাইল নাকি Yoast বা Rank Math-এর মতো SEO প্লাগইন তৈরি করে, এবং সেখানেই এটি সম্পাদনা করুন। Shopify-তে robots.txt.liquid থিম টেমপ্লেট সম্পাদনা করুন।
  4. Cloudflare-এ দেখুন কোনো ম্যানেজড robots.txt সেটিং আপনার নিজের ফাইলের ওপরে AI ক্রলারের রুল যোগ করছে কি না।
  5. আপনার নীতি হলে ট্রেনিং টোকেন নিষিদ্ধই রাখুন; এটি আলাদা টোকেন ব্যবহার করা সার্চ ক্রলারকে প্রভাবিত করে না।

উদাহরণ

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন

পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।

আমার পেজ চেক করুন →

সম্পর্কিত গাইড

সব পর্যবেক্ষণ এবং স্কোর কীভাবে কাজ করে