Claude-User
Claude-User מבקר באתר כשמשתמש ב-Claude שואל שאלה שדורשת זאת, למשל כדי לקרוא קישור ששותף. Anthropic מציינת שהבוטים שלה מכבדים את robots.txt, ושחסימת Claude-User מונעת משיכה של התוכן שלכם בתגובה לשאילתות משתמשים, מה שעלול להפחית את החשיפה שלכם בחיפוש אינטרנט בהכוונת המשתמש.
מה הוא עושה
Anthropic משתמשת ב-Claude-User כדי לתמוך במשתמשי Claude: כשמישהו שואל את Claude שאלה, הוא עשוי לגשת לאתר כדי לענות עליה. אלה משיכות בודדות מטעם משתמש, לא סריקה כללית.
בניגוד ל-OpenAI ול-Perplexity, שמציינות שכלי המשיכה שלהן לבקשת משתמש עשויים שלא לציית ל-robots.txt, Anthropic מצהירה שהבוטים שלה מכבדים את הנחיות robots.txt ומתארת חסימה של Claude-User שם. כך Claude לא יכול לשלוף את הדפים שלכם כשמשתמשים שואלים עליהם.
במחקר שלנו מ2026-11, 13.1% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
Claude-User
איך לאפשר אותו
User-agent: Claude-User
Allow: /
איך לחסום אותו
User-agent: Claude-User
Disallow: /
איך לאמת ביקורים אמיתיים
Anthropic מפרסמת את כתובות ה-IP של הסורקים שלה בכתובת claude.com/crawling/bots.json ומציינת שסורק שכתובת ה-IP שלו ברשימה הזו הוא של Anthropic. השוו את כתובת ה-IP של המקור לרשימה ואל תסתמכו על ה-user agent. Anthropic ממליצה שלא להשתמש בחסימת IP כדי לבקש הדרה, כי היא מונעת מהסורק גם לקרוא את robots.txt.
בדקו אם האתר שלכם מאפשר לו להיכנס →
הסורקים של Anthropic: ClaudeBot, Claude-SearchBot ו-Claude-User →