ClaudeBot
ClaudeBot הוא הסורק של Anthropic לתוכן אינטרנט שעשוי לשמש לאימון מודלי ה-AI היוצרים שלה. חסימה שלו ב-robots.txt מאותתת שתוכן עתידי באתר שלכם צריך להישאר מחוץ לאימון. חסימה שלו לבדה לא עוצרת את Claude-SearchBot או את Claude-User, שמשרתים חיפוש ותשובות בזמן אמת.
מה הוא עושה
Anthropic מציינת ש-ClaudeBot אוסף תוכן אינטרנט שעשוי לתרום לאימון המודלים שלה, כדי לשפר את התועלת והבטיחות שלהם. חסימה של ClaudeBot מאותתת שחומרים עתידיים מהאתר שלכם צריכים להישאר מחוץ למערכי נתוני האימון.
Anthropic תומכת גם בהנחיית Crawl-delay שאינה סטנדרטית, כך שאפשר להאט את ClaudeBot במקום לחסום אותו. כללי robots.txt שמזכירים את ClaudeBot גוברים על האות הכללי של Anthropic נגד אימון AI. כללי robots.txt חלים לכל מארח בנפרד, לכן הוסיפו אותם לכל תת-דומיין שאתם רוצים לכסות.
במחקר שלנו מ2026-11, 21.2% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
ClaudeBot
איך לאפשר אותו
User-agent: ClaudeBot
Allow: /איך לחסום אותו
User-agent: ClaudeBot
Disallow: /איך לאמת ביקורים אמיתיים
Anthropic מפרסמת את כתובות ה-IP של הסורקים שלה בכתובת claude.com/crawling/bots.json ומציינת שסורק שכתובת ה-IP שלו ברשימה הזו הוא של Anthropic. השוו את כתובת ה-IP של המקור לרשימה ואל תסתמכו על ה-user agent. Anthropic ממליצה שלא להשתמש בחסימת IP כדי לבקש הדרה, כי היא מונעת מהסורק גם לקרוא את robots.txt.
בדקו אם האתר שלכם מאפשר לו להיכנס →
הסורקים של Anthropic: ClaudeBot, Claude-SearchBot ו-Claude-User →