خزندههای Anthropic: ClaudeBot، Claude-SearchBot و Claude-User
Anthropic سه عامل دارد: ClaudeBot محتوایی را جمع میکند که ممکن است برای آموزش مدلهایش استفاده شود، Claude-SearchBot برای بهتر کردن نتایج جستجوی Claude میخزد و Claude-User وقتی سؤال کاربر Claude به صفحهای نیاز دارد آن را دریافت میکند. هر کدام توکن robots.txt خودش را دارد و Anthropic میگوید هر سه به robots.txt احترام میگذارند. مسدود کردن ClaudeBot بهتنهایی جلوی جستجو یا دریافتهای کاربر را نمیگیرد.
Anthropic خزندههایش را در یک صفحه راهنما مستند کرده و ساختار آن مشابه دیگر شرکتهای هوش مصنوعی است: یک عامل برای آموزش، یکی برای جستجو و یکی برای دریافت زنده از طرف کاربر. اگر میخواهید Claude بتواند صفحههای شما را پیدا کند و از آنها نقل کند، دو عامل آخر از همه مهمترند.
در این صفحه
- ClaudeBot چه کاری انجام میدهد؟
- Claude-SearchBot چه کاری انجام میدهد؟
- Claude-User چه کاری انجام میدهد؟
- چطور برای Claude قوانین robots.txt بنویسم؟
- تنظیمات Anthropic در مقایسه با OpenAI و Perplexity چطور است؟
- آیا باید Anthropic را با نشانی IP مسدود کنم؟
- چرا Claude ممکن است باز هم نتواند صفحه من را بخواند؟
ClaudeBot چه کاری انجام میدهد؟
ClaudeBot محتوای وب را جمع میکند که ممکن است در آموزش مدلهای هوش مصنوعی تولیدی Anthropic به کار رود. طبق گفته Anthropic، ممنوع کردن آن نشان میدهد محتوای آینده سایت شما باید از مجموعهدادههای آموزشی کنار گذاشته شود.
Anthropic همچنین میگوید به یک سیگنال ماشینخوان «بدون آموزش هوش مصنوعی» مبتنی بر یک پیشنویس IETF احترام میگذارد و قوانینی در robots.txt که نام ClaudeBot را میآورند بر آن تنظیم کلی اولویت دارند. مانند دیگر خزندههای آموزشی، مسدود کردن آن یک انتخاب سیاستی است.
Claude-SearchBot چه کاری انجام میدهد؟
Claude-SearchBot وب را میخزد تا مرتبط بودن و دقت نتایج جستجو در Claude را بهتر کند. Anthropic میگوید مسدود کردن آن مانع ایندکس شدن محتوای شما برای جستجو میشود و ممکن است دیده شدن و دقت شما را در نتایج جستجوی کاربران کم کند.
اگر میخواهید قابلیتهای جستجوی Claude پیش از آنکه کسی بپرسد صفحههای شما را بشناسند، این همان عاملی است که باید مجاز شود. چون خزنده جستجوست، از همان چیزهایی سود میبرد که هر خزنده جستجویی سود میبرد: نقشه سایتی که در robots.txt آمده، لینکهای داخلی تمیز و صفحههایی که محتوایشان را در همان پاسخ اول برمیگردانند.
Claude-User چه کاری انجام میدهد؟
Claude-User وقتی کاربر Claude سؤالی بپرسد که به یک وبسایت نیاز دارد به آن سر میزند؛ مثلاً وقتی کسی یک URL را به اشتراک میگذارد یا از Claude میخواهد چیزی را جستجو کند. Anthropic میگوید مسدود کردن آن مانع بازیابی در پاسخ به پرسشهای کاربران میشود و ممکن است دیده شدن شما را در جستجوهای وبی که کاربران انجام میدهند کم کند.
به یک تفاوت با برخی شرکتهای دیگر توجه کنید. Anthropic میگوید رباتهایش به دستورهای robots.txt احترام میگذارند و مسدود کردن Claude-User از طریق robots.txt را توضیح میدهد. در مقابل، OpenAI و Perplexity میگویند دریافتکنندههای درخواستی کاربرشان ممکن است از robots.txt پیروی نکنند.
چطور برای Claude قوانین robots.txt بنویسم؟
هر عامل توکن خودش را دارد و طبق RFC 9309 گروهی که نام یک خزنده را میآورد برای آن خزنده جای گروه * را میگیرد. یک انتخاب رایج این است که جستجو و دریافتهای کاربر را مجاز کنید و از آموزش کنار بکشید:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic از Crawl-delay هم بهعنوان یک افزونه غیراستاندارد پشتیبانی میکند، برای مثال Crawl-delay: 1 زیر User-agent: ClaudeBot، اگر میخواهید بهجای مسدود کردن، خزیدن را کند کنید. قوانین باید در robots.txt در پوشه سطح بالای هر میزبان باشند؛ پس آنها را به هر زیردامنهای که میخواهید پوشش داده شود اضافه کنید.
تنظیمات Anthropic در مقایسه با OpenAI و Perplexity چطور است؟
این سه شرکت با نامهای متفاوت از یک الگو پیروی میکنند و همین نوشتن یک robots.txt مشترک را ساده میکند. تفاوت اصلی این است که هر کدام با robots.txt برای دریافتهای زنده به درخواست کاربر چطور رفتار میکند.
- خزنده جستجو:
Claude-SearchBotبرای Anthropic،OAI-SearchBotبرای OpenAI،PerplexityBotبرای Perplexity. - خزنده آموزشی:
ClaudeBotبرای Anthropic،GPTBotبرای OpenAI. Perplexity میگوید ازPerplexityBotبرای خزیدن محتوا برای مدلهای پایه هوش مصنوعی استفاده نمیشود. - دریافتهای کاربر:
Claude-User،ChatGPT-UserوPerplexity-User. Anthropic میگوید رباتهایش به robots.txt احترام میگذارند؛ OpenAI میگوید ممکن است robots.txt رویChatGPT-Userاعمال نشود؛ Perplexity میگویدPerplexity-Userمعمولاً آن را نادیده میگیرد.
اگر یک robots.txt برای هر سه مینویسید، توکنهای جستجو و کاربر را در یک گروه و توکنهای آموزشی را در گروه دیگری بگذارید. این کار سیاست را خوانا نگه میدارد و روشن میکند برای هر هدف چه انتخابی کردهاید.
آیا باید Anthropic را با نشانی IP مسدود کنم؟
Anthropic این را توصیه نمیکند. مستندات آن میگوید مسدود کردن نشانیهای IP ممکن است درست کار نکند یا انصراف را بهطور پایدار تضمین نکند، چون مانع خواندن robots.txt توسط خزنده هم میشود. برای بیان سیاست خود از robots.txt استفاده کنید.
Anthropic نشانیهای IP خزندههایش را در claude.com/crawling/bots.json منتشر میکند. استفاده مفید از این فهرست برعکس مسدود کردن است: بگذارید فایروال تأیید کند که درخواستی که ادعا میکند Claude-SearchBot یا Claude-User است واقعاً از Anthropic میآید و آن را راه بدهد.
چرا Claude ممکن است باز هم نتواند صفحه من را بخواند؟
حتی با robots.txt سهلگیر، فایروال یا CDN شما میتواند به عاملهای Anthropic خطای 403 یا صفحه چالش بدهد. Anthropic میگوید رباتهایش به فناوریهای ضد دور زدن احترام میگذارند و برای عبور از CAPTCHA تلاش نمیکنند؛ پس صفحه چالش بهسادگی بازدید را تمام میکند. صفحههایی که متنشان فقط پس از اجرای JavaScript ظاهر میشود هم ممکن است تقریباً خالی برسند.
AISeeWhy صفحه شما را بهعنوان ClaudeBot، Claude-SearchBot و Claude-User در کنار یک مرورگر درخواست میکند و قوانین robots.txt شما را برای هر کدام بررسی میکند؛ تا ببینید آیا سیاستی که نوشتهاید همان است که سرورتان اجرا میکند.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا مسدود کردن ClaudeBot سایت من را از پاسخهای Claude حذف میکند؟
بهتنهایی نه. ایندکس جستجو و دریافتهای درخواستی کاربر از Claude-SearchBot و Claude-User استفاده میکنند که توکنهای robots.txt خودشان را دارند.
آیا Claude-User از robots.txt پیروی میکند؟
Anthropic میگوید رباتهایش به robots.txt احترام میگذارند و مسدود کردن Claude-User در آنجا را توضیح میدهد؛ با این نتیجه که Claude نمیتواند صفحههای شما را برای سؤالهای کاربران بازیابی کند.
آیا خزندههای Anthropic CAPTCHA را حل میکنند؟
نه. Anthropic میگوید رباتهایش به فناوریهای ضد دور زدن احترام میگذارند و برای عبور از CAPTCHA تلاش نمیکنند.
آیا میتوانم بهجای مسدود کردن ClaudeBot سرعتش را کم کنم؟
بله. Anthropic از Crawl-delay بهعنوان یک افزونه غیراستاندارد پشتیبانی میکند، برای مثال Crawl-delay: 1 در گروه ClaudeBot فایل robots.txt شما.
چطور تأیید کنم درخواستی واقعاً از Anthropic آمده است؟
IP مبدأ را با فهرستی که Anthropic در claude.com/crawling/bots.json منتشر میکند مقایسه کنید. user agent بهتنهایی را هر کسی میتواند کپی کند.
منابع
- Anthropic: آیا Anthropic دادهها را از وب میخزد و صاحبان سایت چطور میتوانند خزنده را مسدود کنند؟
- RFC 9309: پروتکل استثنای رباتها (Robots Exclusion Protocol)