ClaudeBot
ClaudeBot هو زاحف Anthropic لمحتوى الويب الذي قد يُستخدم في تدريب نماذجها للذكاء الاصطناعي التوليدي. منعه في robots.txt يشير إلى أن محتوى موقعك المستقبلي يجب استبعاده من التدريب. وحجبه وحده لا يوقف Claude-SearchBot أو Claude-User اللذين يخدمان البحث والإجابات الفورية.
ما الذي يفعله
تقول Anthropic إن ClaudeBot يجمع محتوى من الويب قد يسهم في تدريب نماذجها لتعزيز فائدتها وأمانها. ومنع ClaudeBot يشير إلى أن المواد المستقبلية لموقعك يجب استبعادها من مجموعات بيانات التدريب.
تدعم Anthropic أيضًا التوجيه غير القياسي Crawl-delay، فيمكنك إبطاء ClaudeBot بدلًا من حجبه. والقواعد التي تذكر ClaudeBot في robots.txt لها الأولوية على إشارة Anthropic العامة بعدم التدريب على الذكاء الاصطناعي. وتسري قواعد robots.txt لكل مضيف، لذا أضفها إلى كل نطاق فرعي تريد تغطيته.
في دراستنا لشهر 2026-11، حجبه 21.2% من المواقع الشائعة التي لديها ملف robots.txt. →
رمز robots.txt
ClaudeBot
كيف تسمح به
User-agent: ClaudeBot
Allow: /كيف تحجبه
User-agent: ClaudeBot
Disallow: /كيف تتحقق من الزيارات الحقيقية
تنشر Anthropic عناوين IP لزواحفها على claude.com/crawling/bots.json وتقول إن الزاحف الذي يرد عنوان IP الخاص به في تلك القائمة يأتي من Anthropic. طابق عنوان IP المصدر مع القائمة بدلًا من الوثوق بوكيل المستخدم. وتنصح Anthropic بعدم استخدام حجب IP للانسحاب، لأنه يمنع الزاحف أيضًا من قراءة robots.txt.