ClaudeBot
ClaudeBot خزنده Anthropic برای محتوای وبی است که ممکن است برای آموزش مدلهای هوش مصنوعی مولد آن استفاده شود. ممنوع کردن آن در robots.txt اعلام میکند که محتوای آینده سایت شما باید از آموزش کنار گذاشته شود. مسدود کردن آن بهتنهایی Claude-SearchBot یا Claude-User را که به جستجو و پاسخهای زنده خدمت میکنند متوقف نمیکند.
چطور به آن اجازه دهید
User-agent: ClaudeBot
Allow: / چطور آن را مسدود کنید
User-agent: ClaudeBot
Disallow: / چه کاری میکند
Anthropic میگوید ClaudeBot محتوای وبی را جمعآوری میکند که میتواند در آموزش مدلهایش سهم داشته باشد، تا به بهبود سودمندی و ایمنی آنها کمک کند. ممنوع کردن ClaudeBot اعلام میکند که مطالب آینده سایت شما باید از مجموعهدادههای آموزشی کنار گذاشته شوند.
Anthropic از دستور غیراستاندارد Crawl-delay هم پشتیبانی میکند، پس میتوانید بهجای مسدود کردن ClaudeBot سرعت آن را کم کنید. قوانینی که در robots.txt نام ClaudeBot را دارند بر سیگنال کلی Anthropic برای عدم آموزش هوش مصنوعی اولویت دارند. قوانین robots.txt برای هر میزبان جداگانه اعمال میشوند، پس آنها را به همه زیردامنههایی که میخواهید پوشش داده شوند اضافه کنید.
در پژوهش 2026-11 ما، 21.2% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
ClaudeBot
چطور بازدیدهای واقعی را تأیید کنید
Anthropic نشانیهای IP خزندههای خود را در claude.com/crawling/bots.json منتشر میکند و میگوید خزندهای که IP آن در این فهرست باشد از طرف Anthropic است. بهجای اعتماد به user agent، IP مبدأ را با فهرست مقایسه کنید. Anthropic توصیه میکند برای انصراف از مسدودسازی IP استفاده نکنید، چون این کار جلوی خواندن robots.txt توسط خزنده را هم میگیرد.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
خزندههای Anthropic: ClaudeBot، Claude-SearchBot و Claude-User ←