Claude-SearchBot

Anthropic · AI সার্চ

Claude-SearchBot Claude-এ সার্চের ফলাফলের প্রাসঙ্গিকতা ও নির্ভুলতা বাড়াতে ওয়েব ক্রল করে। Anthropic জানায়, এটি ব্লক করলে আপনার কনটেন্ট সার্চের জন্য ইনডেক্স হয় না, যা ব্যবহারকারীদের সার্চের ফলাফলে আপনার দৃশ্যমানতা ও নির্ভুলতা কমাতে পারে। Claude আপনার পেজ খুঁজে পেয়ে উদ্ধৃত করুক চাইলে এটিকে অনুমতি দিন।

কীভাবে অনুমতি দেবেন

User-agent: Claude-SearchBot
Allow: /

কীভাবে ব্লক করবেন

User-agent: Claude-SearchBot
Disallow: /

এটি কী করে

Anthropic ওয়েবে ঘুরে Claude ব্যবহারকারীদের জন্য সার্চের ফলাফলের মান বাড়াতে Claude-SearchBot ব্যবহার করে। এটি ট্রেনিং ক্রলার ClaudeBot থেকে আলাদা, তাই আপনি ট্রেনিং থেকে অপ্ট আউট করেও সার্চকে অনুমতি দিতে পারেন।

Anthropic জানায়, Claude-SearchBot বন্ধ করলে সার্চ অপটিমাইজেশনের জন্য আপনার কনটেন্ট ইনডেক্স হয় না, যা ব্যবহারকারীদের সার্চের ফলাফলে আপনার সাইটের দৃশ্যমানতা ও নির্ভুলতা কমাতে পারে। Anthropic-এর বটগুলো robots.txt মানে এবং ফাঁকি এড়ানোর ব্যবস্থাকে সম্মান করে, তাই একটি CAPTCHA বা চ্যালেঞ্জ পেজে ভিজিট শেষ হয়ে যায়।

আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 12.9% এটি ব্লক করেছে। →

robots.txt টোকেন

Claude-SearchBot

আসল ভিজিট কীভাবে যাচাই করবেন

Anthropic তার ক্রলারগুলোর IP ঠিকানা claude.com/crawling/bots.json-এ প্রকাশ করে এবং জানায় যে যে ক্রলারের IP এই তালিকায় আছে তা Anthropic থেকে আসে। ইউজার এজেন্টের ওপর ভরসা না করে উৎস IP তালিকার সঙ্গে মিলিয়ে দেখুন। Anthropic অপ্ট আউট করতে IP ব্লক ব্যবহার না করার পরামর্শ দেয়, কারণ এতে ক্রলার robots.txt-ও পড়তে পারে না।

আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →

Anthropic-এর ক্রলার: ClaudeBot, Claude-SearchBot ও Claude-User →