Claude-User
Claude-User একটি ওয়েবসাইটে যায় যখন একজন Claude ব্যবহারকারী এমন প্রশ্ন করেন যার জন্য তা দরকার, যেমন একটি শেয়ার করা লিংক পড়া। Anthropic জানায় তার বটগুলো robots.txt মানে, এবং Claude-User ব্লক করলে ব্যবহারকারীর প্রশ্নের উত্তরে আপনার কনটেন্ট আনা যায় না, যা ব্যবহারকারী-নির্দেশিত ওয়েব সার্চে আপনার দৃশ্যমানতা কমাতে পারে।
কীভাবে অনুমতি দেবেন
User-agent: Claude-User
Allow: / কীভাবে ব্লক করবেন
User-agent: Claude-User
Disallow: / এটি কী করে
Anthropic Claude ব্যবহারকারীদের সহায়তায় Claude-User ব্যবহার করে: কেউ Claude-কে প্রশ্ন করলে উত্তর দিতে এটি একটি ওয়েবসাইটে যেতে পারে। এগুলো একজন ব্যবহারকারীর পক্ষে আলাদা আলাদা অনুরোধ, সাধারণ ক্রল নয়।
OpenAI ও Perplexity জানায় যে তাদের ব্যবহারকারীর অনুরোধে চলা ফেচার robots.txt নাও মানতে পারে, কিন্তু Anthropic জানায় তার বটগুলো robots.txt নির্দেশ মানে এবং সেখানে Claude-User ব্লক করার উপায় বর্ণনা করে। তা করলে ব্যবহারকারীরা আপনার পেজ নিয়ে জিজ্ঞেস করলে Claude সেগুলো আনতে পারে না।
আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 13.1% এটি ব্লক করেছে। →
robots.txt টোকেন
Claude-User
আসল ভিজিট কীভাবে যাচাই করবেন
Anthropic তার ক্রলারগুলোর IP ঠিকানা claude.com/crawling/bots.json-এ প্রকাশ করে এবং জানায় যে যে ক্রলারের IP এই তালিকায় আছে তা Anthropic থেকে আসে। ইউজার এজেন্টের ওপর ভরসা না করে উৎস IP তালিকার সঙ্গে মিলিয়ে দেখুন। Anthropic অপ্ট আউট করতে IP ব্লক ব্যবহার না করার পরামর্শ দেয়, কারণ এতে ক্রলার robots.txt-ও পড়তে পারে না।
আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →
Anthropic-এর ক্রলার: ClaudeBot, Claude-SearchBot ও Claude-User →