Claude-User
يزور Claude-User موقعًا عندما يتطلب ذلك سؤال مستخدم Claude، مثل قراءة رابط مشترك. تقول Anthropic إن بوتاتها تلتزم بملف robots.txt، وإن حجب Claude-User يمنع جلب محتواك استجابةً لاستفسارات المستخدمين، وقد يقلل ذلك من ظهورك في البحث على الويب الذي يوجّهه المستخدم.
ما الذي يفعله
تستخدم Anthropic الزاحف Claude-User لدعم مستخدمي Claude: فعندما يسأل أحدهم Claude سؤالًا، قد يدخل إلى موقع للإجابة عنه. وهذه عمليات جلب فردية نيابةً عن المستخدم، وليست زحفًا عامًا.
خلافًا لـ OpenAI وPerplexity اللتين تقولان إن أدوات الجلب التابعة لهما بطلب من المستخدم قد لا تتبع robots.txt، تذكر Anthropic أن بوتاتها تلتزم بتوجيهات robots.txt، وتصف حجب Claude-User فيه. وبذلك تمنع Claude من جلب صفحاتك عندما يسأل المستخدمون عنها.
في دراستنا لشهر 2026-11، حجبه 13.1% من المواقع الشائعة التي لديها ملف robots.txt. →
رمز robots.txt
Claude-User
كيف تسمح به
User-agent: Claude-User
Allow: /كيف تحجبه
User-agent: Claude-User
Disallow: /كيف تتحقق من الزيارات الحقيقية
تنشر Anthropic عناوين IP لزواحفها على claude.com/crawling/bots.json وتقول إن الزاحف الذي يرد عنوان IP الخاص به في تلك القائمة يأتي من Anthropic. طابق عنوان IP المصدر مع القائمة بدلًا من الوثوق بوكيل المستخدم. وتنصح Anthropic بعدم استخدام حجب IP للانسحاب، لأنه يمنع الزاحف أيضًا من قراءة robots.txt.