הסורקים של Anthropic: ClaudeBot, Claude-SearchBot ו-Claude-User
Anthropic מפעילה שלושה סוכנים: ClaudeBot אוסף תוכן שעשוי לשמש לאימון המודלים שלה, Claude-SearchBot סורק כדי לשפר את תוצאות החיפוש של Claude, ו-Claude-User מביא עמודים כששאלה של משתמש ב-Claude צריכה אותם. לכל אחד טוקן משלו ב-robots.txt, ו-Anthropic אומרת ששלושתם מצייתים ל-robots.txt. חסימת ClaudeBot לבדה לא עוצרת חיפוש או הבאה לפי משתמש.
Anthropic מתעדת את הסורקים שלה בדף עזרה אחד, והמבנה דומה לספקי AI אחרים: סוכן אחד לאימון, אחד לחיפוש ואחד להבאה חיה מטעם משתמש. אם אתם רוצים ש-Claude יוכל למצוא את העמודים שלכם ולצטט אותם, שני האחרונים הם החשובים ביותר.
בעמוד זה
מה עושה ClaudeBot?
ClaudeBot אוסף תוכן מהרשת שעשוי לתרום לאימון מודלי הבינה המלאכותית היוצרת של Anthropic. לפי Anthropic, חסימה שלו מסמנת שתוכן עתידי של האתר צריך להיות מוחרג ממערכי נתוני האימון.
Anthropic אומרת גם שהיא מכבדת אות קריא למכונה של אי-אימון ב-AI, המבוסס על טיוטה של IETF, ושכללים שמציינים את ClaudeBot ב-robots.txt גוברים על ההגדרה הכללית הזאת. כמו בסורקי אימון אחרים, חסימה שלו היא בחירת מדיניות.
מה עושה Claude-SearchBot?
Claude-SearchBot סורק את הרשת כדי לשפר את הרלוונטיות והדיוק של תוצאות החיפוש ב-Claude. Anthropic אומרת שחסימה שלו מונעת אינדוקס של התוכן שלכם לחיפוש, ועלולה לפגוע בנראות ובדיוק בתוצאות החיפוש של משתמשים.
זה הסוכן שיש להתיר אם רוצים שיכולות החיפוש של Claude יכירו את העמודים שלכם לפני שמישהו שואל עליהם. מכיוון שהוא סורק חיפוש, הוא נהנה מאותם דברים שכל סורק חיפוש נהנה מהם: מפת אתר שמופיעה ב-robots.txt, קישורים פנימיים נקיים ועמודים שמחזירים את התוכן שלהם כבר בתגובה הראשונה.
מה עושה Claude-User?
Claude-User ניגש לאתר כשמשתמש ב-Claude שואל שאלה שדורשת זאת, למשל כשמישהו משתף כתובת או מבקש מ-Claude לחפש משהו. Anthropic אומרת שחסימה שלו מונעת הבאה בתגובה לשאילתות משתמשים, ועלולה לפגוע בנראות בחיפוש ברשת שהמשתמש מכוון.
שימו לב להבדל מכמה ספקים אחרים. Anthropic קובעת שהבוטים שלה מכבדים הנחיות robots.txt, ומתארת חסימה של Claude-User דרך robots.txt. OpenAI ו-Perplexity, לעומת זאת, אומרות שמביאי העמודים לפי בקשת משתמש שלהן אולי לא מצייתים ל-robots.txt.
איך כותבים כללי robots.txt עבור Claude?
לכל סוכן טוקן משלו, וקבוצה שמציינת סורק מחליפה את הקבוצה * עבור אותו סורק לפי RFC 9309. בחירה נפוצה היא להתיר חיפוש והבאה לפי משתמש ולצאת מהאימון:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /Anthropic תומכת גם ב-Crawl-delay כהרחבה לא תקנית, למשל Crawl-delay: 1 תחת User-agent: ClaudeBot, אם רוצים להאט את הסריקה במקום לחסום אותה. הכללים צריכים להיות ב-robots.txt בתיקיית הבסיס של כל host, ולכן הוסיפו אותם לכל תת-דומיין שברצונכם לכסות.
איך ההגדרה של Anthropic משתווה ל-OpenAI ול-Perplexity?
שלושת הספקים פועלים באותו דפוס בשמות שונים, וזה מקל לחשוב על robots.txt משולב. ההבדל העיקרי הוא היחס של כל אחד ל-robots.txt בהבאה חיה לפי בקשת משתמש.
- סורק חיפוש:
Claude-SearchBotאצל Anthropic,OAI-SearchBotאצל OpenAI,PerplexityBotאצל Perplexity. - סורק אימון:
ClaudeBotאצל Anthropic,GPTBotאצל OpenAI. Perplexity אומרת ש-PerplexityBotאינו משמש לסריקת תוכן עבור מודלי יסוד של AI. - הבאה לפי משתמש:
Claude-User,ChatGPT-Userו-Perplexity-User. Anthropic אומרת שהבוטים שלה מכבדים robots.txt; OpenAI אומרת ש-robots.txt אולי לא חל עלChatGPT-User; Perplexity אומרת ש-Perplexity-Userמתעלם ממנו בדרך כלל.
אם כותבים robots.txt אחד לשלושתם, שימו את טוקני החיפוש והמשתמש בקבוצה אחת ואת טוקני האימון באחרת. כך המדיניות נשארת קריאה וברור איזו בחירה עשיתם לכל מטרה.
האם לחסום את Anthropic לפי כתובת IP?
Anthropic ממליצה שלא. התיעוד שלה אומר שחסימת כתובות IP אולי לא תפעל נכון או לא תבטיח ביטול השתתפות באופן עקבי, כי היא מונעת מהסורק גם לקרוא את robots.txt. השתמשו ב-robots.txt כדי להצהיר על המדיניות שלכם.
Anthropic כן מפרסמת את כתובות ה-IP של הסורקים שלה ב-claude.com/crawling/bots.json. השימוש המועיל ברשימה הזאת הוא ההפך מחסימה: לתת לחומת האש לוודא שבקשה שטוענת שהיא Claude-SearchBot או Claude-User אכן מגיעה מ-Anthropic, ולהכניס אותה.
למה Claude עדיין עלול להיכשל בקריאת העמוד שלי?
גם עם robots.txt מתיר, חומת האש או ה-CDN עלולים לענות לסוכנים של Anthropic ב-403 או בעמוד אתגר. Anthropic אומרת שהבוטים שלה מכבדים טכנולוגיות נגד עקיפה ולא ינסו לעקוף CAPTCHA, ולכן עמוד אתגר פשוט מסיים את הביקור. גם עמודים שהטקסט שלהם מופיע רק אחרי הרצת JavaScript עלולים להגיע כמעט ריקים.
AISeeWhy מבקש את העמוד שלכם בתור ClaudeBot, Claude-SearchBot ו-Claude-User לצד דפדפן, ובודק את כללי ה-robots.txt עבור כל אחד, כך שאפשר לראות אם המדיניות שכתבתם היא זו שהשרת שלכם אוכף.
שאלות נפוצות
האם חסימת ClaudeBot מסירה את האתר שלי מהתשובות של Claude?
לא בפני עצמה. אינדוקס חיפוש והבאה לפי בקשת משתמש משתמשים ב-Claude-SearchBot וב-Claude-User, שלכל אחד טוקן משלו ב-robots.txt.
האם Claude-User מציית ל-robots.txt?
Anthropic אומרת שהבוטים שלה מכבדים robots.txt ומתארת שם חסימה של Claude-User, ובתוצאה Claude לא יכול להביא את העמודים שלכם לשאלות משתמשים.
האם הסורקים של Anthropic יפתרו CAPTCHA?
לא. Anthropic אומרת שהבוטים שלה מכבדים טכנולוגיות נגד עקיפה ולא ינסו לעקוף CAPTCHA.
אפשר להאט את ClaudeBot במקום לחסום אותו?
כן. Anthropic תומכת ב-Crawl-delay כהרחבה לא תקנית, למשל Crawl-delay: 1 בקבוצה של ClaudeBot ב-robots.txt.
איך אפשר לוודא שבקשה אכן מגיעה מ-Anthropic?
משווים את כתובת ה-IP של המקור לרשימה ש-Anthropic מפרסמת ב-claude.com/crawling/bots.json. את ה-user agent לבדו כל אחד יכול להעתיק.
מקורות
- Anthropic: האם Anthropic סורקת נתונים מהרשת, ואיך בעלי אתרים יכולים לחסום את הסורק?
- RFC 9309: פרוטוקול Robots Exclusion