Claude-SearchBot
Claude-SearchBot وب را میخزد تا مرتبط بودن و دقت نتایج جستجو در Claude را بهبود دهد. Anthropic میگوید مسدود کردن آن جلوی ایندکس شدن محتوای شما برای جستجو را میگیرد، که ممکن است دیده شدن و دقت شما در نتایج جستجوی کاربران را کاهش دهد. اگر میخواهید Claude صفحههای شما را پیدا کند و به آنها استناد کند، به آن اجازه دهید.
چطور به آن اجازه دهید
User-agent: Claude-SearchBot
Allow: / چطور آن را مسدود کنید
User-agent: Claude-SearchBot
Disallow: / چه کاری میکند
Anthropic از Claude-SearchBot برای پیمایش وب و بهبود کیفیت نتایج جستجو برای کاربران Claude استفاده میکند. این خزنده از ClaudeBot، خزنده آموزشی، جداست، پس میتوانید به جستجو اجازه دهید و همزمان از آموزش انصراف دهید.
Anthropic میگوید غیرفعال کردن Claude-SearchBot جلوی ایندکس شدن محتوای شما برای بهینهسازی جستجو را میگیرد، که ممکن است دیده شدن و دقت سایت شما در نتایج جستجوی کاربران را کاهش دهد. رباتهای Anthropic از robots.txt پیروی میکنند و به تدابیر ضددور زدن احترام میگذارند، پس یک CAPTCHA یا صفحه چالش بازدید را پایان میدهد.
در پژوهش 2026-11 ما، 12.9% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
Claude-SearchBot
چطور بازدیدهای واقعی را تأیید کنید
Anthropic نشانیهای IP خزندههای خود را در claude.com/crawling/bots.json منتشر میکند و میگوید خزندهای که IP آن در این فهرست باشد از طرف Anthropic است. بهجای اعتماد به user agent، IP مبدأ را با فهرست مقایسه کنید. Anthropic توصیه میکند برای انصراف از مسدودسازی IP استفاده نکنید، چون این کار جلوی خواندن robots.txt توسط خزنده را هم میگیرد.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
خزندههای Anthropic: ClaudeBot، Claude-SearchBot و Claude-User ←