Claude-User
Claude-User وقتی از یک وبسایت بازدید میکند که کاربر Claude پرسشی بپرسد که به آن نیاز دارد، مانند خواندن یک لینک اشتراکی. Anthropic میگوید رباتهایش از robots.txt پیروی میکنند، و مسدود کردن Claude-User جلوی بازیابی محتوای شما در پاسخ به پرسشهای کاربران را میگیرد که ممکن است دیده شدن شما در جستجوی وب به هدایت کاربر را کاهش دهد.
چطور به آن اجازه دهید
User-agent: Claude-User
Allow: / چطور آن را مسدود کنید
User-agent: Claude-User
Disallow: / چه کاری میکند
Anthropic از Claude-User برای پشتیبانی از کاربران Claude استفاده میکند: وقتی کسی از Claude پرسشی میپرسد، ممکن است برای پاسخ به آن به یک وبسایت دسترسی پیدا کند. اینها دریافتهای جداگانه از طرف یک کاربر هستند، نه خزش عمومی.
برخلاف OpenAI و Perplexity که میگویند دریافتکنندههای به درخواست کاربرشان ممکن است از robots.txt پیروی نکنند، Anthropic اعلام میکند که رباتهایش از دستورهای robots.txt پیروی میکنند و مسدود کردن Claude-User را در آنجا شرح میدهد. این کار جلوی بازیابی صفحههای شما توسط Claude را وقتی کاربران درباره آنها میپرسند میگیرد.
در پژوهش 2026-11 ما، 13.1% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
Claude-User
چطور بازدیدهای واقعی را تأیید کنید
Anthropic نشانیهای IP خزندههای خود را در claude.com/crawling/bots.json منتشر میکند و میگوید خزندهای که IP آن در این فهرست باشد از طرف Anthropic است. بهجای اعتماد به user agent، IP مبدأ را با فهرست مقایسه کنید. Anthropic توصیه میکند برای انصراف از مسدودسازی IP استفاده نکنید، چون این کار جلوی خواندن robots.txt توسط خزنده را هم میگیرد.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
خزندههای Anthropic: ClaudeBot، Claude-SearchBot و Claude-User ←