زواحف Anthropic: ClaudeBot وClaude-SearchBot وClaude-User
تشغّل Anthropic ثلاثة وكلاء: ClaudeBot يجمع محتوى قد يُستخدم لتدريب نماذجها، وClaude-SearchBot يزحف لتحسين نتائج البحث في Claude، وClaude-User يجلب الصفحات عندما يحتاج إليها سؤال مستخدم Claude. لكل منها رمزه في robots.txt، وتقول Anthropic إن الثلاثة تلتزم بـ robots.txt. حظر ClaudeBot وحده لا يوقف البحث ولا الجلب بطلب المستخدم.
توثّق Anthropic زواحفها في صفحة مساعدة واحدة، وبنيتها تشبه بنية الجهات الأخرى: وكيل للتدريب، ووكيل للبحث، ووكيل للجلب المباشر نيابةً عن المستخدم. وإذا أردت أن يتمكن Claude من العثور على صفحاتك واقتباسها، فالأخيران هما الأهم.
في هذه الصفحة
ما وظيفة ClaudeBot؟
يجمع ClaudeBot محتوى من الويب قد يسهم في تدريب نماذج الذكاء الاصطناعي التوليدي لدى Anthropic. وبحسب Anthropic، فإن منعه يشير إلى أن محتوى موقعك المستقبلي يجب أن يُستبعد من مجموعات بيانات التدريب.
وتقول Anthropic أيضاً إنها تحترم إشارة مقروءة آلياً لعدم التدريب على الذكاء الاصطناعي مبنية على مسودة من IETF، وإن القواعد التي تذكر ClaudeBot في robots.txt تتقدم على هذا الإعداد العام. وكما هو الحال مع زواحف التدريب الأخرى، فحظره خيار في السياسة.
ما وظيفة Claude-SearchBot؟
يزحف Claude-SearchBot إلى الويب لتحسين صلة نتائج البحث في Claude ودقتها. وتقول Anthropic إن حظره يمنع فهرسة محتواك للبحث، وقد يقلل ظهورك ودقته في نتائج بحث المستخدمين.
هذا هو الوكيل الذي يجب السماح له إذا أردت أن تعرف ميزات البحث في Claude صفحاتك قبل أن يسأل عنها أحد. ولأنه زاحف بحث، فهو يستفيد مما يستفيد منه أي زاحف بحث: خريطة موقع مذكورة في robots.txt، وروابط داخلية نظيفة، وصفحات تعيد محتواها في الاستجابة الأولى.
ما وظيفة Claude-User؟
يصل Claude-User إلى موقع ما عندما يطرح مستخدم Claude سؤالاً يتطلب ذلك، مثلاً عندما يشارك شخص رابطاً أو يطلب من Claude البحث عن شيء. وتقول Anthropic إن حظره يمنع الجلب استجابةً لاستعلامات المستخدمين، وقد يقلل ظهورك في البحث على الويب الذي يوجّهه المستخدم.
لاحظ فرقاً عن بعض الجهات الأخرى. تنص Anthropic على أن روبوتاتها تلتزم بتوجيهات robots.txt، وتصف حظر Claude-User عبر robots.txt. في المقابل تقول OpenAI وPerplexity إن أدوات الجلب بطلب المستخدم لديهما قد لا تتبع robots.txt.
كيف أكتب قواعد robots.txt لـ Claude؟
لكل وكيل رمزه، والمجموعة التي تذكر زاحفاً تحلّ محل مجموعة * لذلك الزاحف بحسب RFC 9309. والخيار الشائع أن تسمح بالبحث وبالجلب بطلب المستخدم وتستبعد التدريب:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /وتدعم Anthropic أيضاً Crawl-delay كامتداد غير قياسي، مثلاً Crawl-delay: 1 تحت User-agent: ClaudeBot، إذا أردت إبطاء الزحف بدلاً من حظره. ويجب أن تكون القواعد في ملف robots.txt في الدليل الأعلى لكل مضيف، فأضفها إلى كل نطاق فرعي تريد تغطيته.
كيف يقارَن إعداد Anthropic بإعداد OpenAI وPerplexity؟
تتبع الجهات الثلاث النمط نفسه بأسماء مختلفة، مما يسهّل التفكير في ملف robots.txt موحّد. والفرق الرئيسي هو كيفية تعامل كل منها مع robots.txt في الجلب المباشر بطلب المستخدم.
- زاحف البحث:
Claude-SearchBotلدى Anthropic، وOAI-SearchBotلدى OpenAI، وPerplexityBotلدى Perplexity. - زاحف التدريب:
ClaudeBotلدى Anthropic، وGPTBotلدى OpenAI. وتقول Perplexity إنPerplexityBotلا يُستخدم لجمع محتوى لنماذج الذكاء الاصطناعي الأساسية. - الجلب بطلب المستخدم:
Claude-UserوChatGPT-UserوPerplexity-User. تقول Anthropic إن روبوتاتها تلتزم بـ robots.txt؛ وتقول OpenAI إن robots.txt قد لا ينطبق علىChatGPT-User؛ وتقول Perplexity إنPerplexity-Userيتجاهله عموماً.
إذا كتبت ملف robots.txt واحداً للثلاث، فضع رموز البحث والمستخدم في مجموعة ورموز التدريب في أخرى. هذا يُبقي السياسة مقروءة ويوضح الخيار الذي اتخذته لكل غرض.
هل أحظر Anthropic بحسب عنوان IP؟
تنصح Anthropic بعدم ذلك. تقول وثائقها إن حظر عناوين IP قد لا يعمل بشكل صحيح أو لا يضمن الانسحاب بشكل دائم، لأنه يمنع الزاحف أيضاً من قراءة robots.txt. استخدم robots.txt لإعلان سياستك.
تنشر Anthropic عناوين IP الخاصة بزواحفها في claude.com/crawling/bots.json. والاستخدام المفيد لهذه القائمة عكس الحظر: دع جدار الحماية يتحقق من أن طلباً يدّعي أنه Claude-SearchBot أو Claude-User يأتي فعلاً من Anthropic، ثم اسمح له بالمرور.
لماذا قد يفشل Claude في قراءة صفحتي رغم ذلك؟
حتى مع robots.txt متساهل، قد يرد جدار الحماية أو CDN على وكلاء Anthropic بـ 403 أو بصفحة تحدٍّ. وتقول Anthropic إن روبوتاتها تحترم تقنيات منع الالتفاف ولن تحاول تجاوز CAPTCHA، فصفحة التحدي تنهي الزيارة ببساطة. وقد تصل أيضاً الصفحات التي لا يظهر نصها إلا بعد تشغيل JavaScript شبه فارغة.
يطلب AISeeWhy صفحتك بوصفه ClaudeBot وClaude-SearchBot وClaude-User إلى جانب متصفح، ويفحص قواعد robots.txt لكل منها، لترى هل السياسة التي كتبتها هي ما يطبّقه خادمك.
الأسئلة الشائعة
هل يزيل حظر ClaudeBot موقعي من إجابات Claude؟
ليس بذاته. فهرسة البحث والجلب بطلب المستخدم يستخدمان Claude-SearchBot وClaude-User، ولهما رمزان خاصان في robots.txt.
هل يلتزم Claude-User بـ robots.txt؟
تقول Anthropic إن روبوتاتها تلتزم بـ robots.txt وتصف حظر Claude-User فيه، بحيث لا يستطيع Claude جلب صفحاتك لأسئلة المستخدمين.
هل ستحل زواحف Anthropic اختبار CAPTCHA؟
لا. تقول Anthropic إن روبوتاتها تحترم تقنيات منع الالتفاف ولن تحاول تجاوز CAPTCHA.
هل أستطيع إبطاء ClaudeBot بدلاً من حظره؟
نعم. تدعم Anthropic Crawl-delay كامتداد غير قياسي، مثلاً Crawl-delay: 1 في مجموعة ClaudeBot من ملف robots.txt.
كيف أتحقق من أن الطلب يأتي فعلاً من Anthropic؟
قارن عنوان IP المصدر بالقائمة التي تنشرها Anthropic في claude.com/crawling/bots.json. فوكيل المستخدم وحده يمكن لأي أحد نسخه.
المصادر
- Anthropic: هل تزحف Anthropic إلى بيانات الويب، وكيف يمكن لأصحاب المواقع حظر الزاحف؟
- RFC 9309: بروتوكول استثناء الروبوتات