ClaudeBot

Anthropic · AI ট্রেনিং

ClaudeBot হলো Anthropic-এর ক্রলার, যা এমন ওয়েব কনটেন্ট সংগ্রহ করে যা তার জেনারেটিভ AI মডেলের ট্রেনিংয়ে ব্যবহার হতে পারে। robots.txt-এ এটি নিষিদ্ধ করলে সংকেত যায় যে আপনার সাইটের ভবিষ্যৎ কনটেন্ট ট্রেনিং থেকে বাদ রাখা উচিত। শুধু এটি ব্লক করলে Claude-SearchBot বা Claude-User থামে না, যেগুলো সার্চ ও লাইভ উত্তরের কাজ করে।

কীভাবে অনুমতি দেবেন

User-agent: ClaudeBot
Allow: /

কীভাবে ব্লক করবেন

User-agent: ClaudeBot
Disallow: /

এটি কী করে

Anthropic জানায়, ClaudeBot এমন ওয়েব কনটেন্ট সংগ্রহ করে যা তার মডেলের ট্রেনিংয়ে অবদান রাখতে পারে, সেগুলোর উপযোগিতা ও নিরাপত্তা বাড়াতে। ClaudeBot নিষিদ্ধ করলে সংকেত যায় যে আপনার সাইটের ভবিষ্যৎ উপাদান ট্রেনিং ডেটাসেট থেকে বাদ রাখা উচিত।

Anthropic অ-মানক Crawl-delay নির্দেশও সমর্থন করে, তাই আপনি ClaudeBot ব্লক না করে ধীর করতে পারেন। robots.txt-এ ClaudeBot-এর নাম উল্লেখ করা রুল Anthropic-এর সাধারণ no-AI-training সংকেতের চেয়ে অগ্রাধিকার পায়। robots.txt রুল প্রতিটি হোস্টের জন্য আলাদাভাবে প্রযোজ্য, তাই যে সাবডোমেইনগুলো অন্তর্ভুক্ত করতে চান সবগুলোতে এগুলো যোগ করুন।

আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 21.2% এটি ব্লক করেছে। →

robots.txt টোকেন

ClaudeBot

আসল ভিজিট কীভাবে যাচাই করবেন

Anthropic তার ক্রলারগুলোর IP ঠিকানা claude.com/crawling/bots.json-এ প্রকাশ করে এবং জানায় যে যে ক্রলারের IP এই তালিকায় আছে তা Anthropic থেকে আসে। ইউজার এজেন্টের ওপর ভরসা না করে উৎস IP তালিকার সঙ্গে মিলিয়ে দেখুন। Anthropic অপ্ট আউট করতে IP ব্লক ব্যবহার না করার পরামর্শ দেয়, কারণ এতে ক্রলার robots.txt-ও পড়তে পারে না।

আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →

Anthropic-এর ক্রলার: ClaudeBot, Claude-SearchBot ও Claude-User →