Claude-SearchBot
Claude-SearchBot סורק את הרשת כדי לשפר את הרלוונטיות והדיוק של תוצאות החיפוש ב-Claude. Anthropic מציינת שחסימה שלו מונעת אינדוקס של התוכן שלכם לחיפוש, מה שעלול להפחית את החשיפה והדיוק שלכם בתוצאות החיפוש של המשתמשים. אפשרו אותו אם אתם רוצים ש-Claude ימצא ויצטט את הדפים שלכם.
מה הוא עושה
Anthropic משתמשת ב-Claude-SearchBot כדי לנווט ברשת ולשפר את איכות תוצאות החיפוש למשתמשי Claude. הוא נפרד מ-ClaudeBot, סורק האימון, ולכן אפשר לאפשר חיפוש ובכל זאת לבקש הדרה מאימון.
Anthropic מציינת שהשבתת Claude-SearchBot מונעת אינדוקס של התוכן שלכם לצורך אופטימיזציית חיפוש, מה שעלול להפחית את החשיפה והדיוק של האתר בתוצאות החיפוש של המשתמשים. הבוטים של Anthropic מכבדים את robots.txt ואת אמצעי ההגנה מפני עקיפה, ולכן CAPTCHA או עמוד אתגר מסיימים את הביקור.
במחקר שלנו מ2026-11, 12.9% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
Claude-SearchBot
איך לאפשר אותו
User-agent: Claude-SearchBot
Allow: /איך לחסום אותו
User-agent: Claude-SearchBot
Disallow: /איך לאמת ביקורים אמיתיים
Anthropic מפרסמת את כתובות ה-IP של הסורקים שלה בכתובת claude.com/crawling/bots.json ומציינת שסורק שכתובת ה-IP שלו ברשימה הזו הוא של Anthropic. השוו את כתובת ה-IP של המקור לרשימה ואל תסתמכו על ה-user agent. Anthropic ממליצה שלא להשתמש בחסימת IP כדי לבקש הדרה, כי היא מונעת מהסורק גם לקרוא את robots.txt.
בדקו אם האתר שלכם מאפשר לו להיכנס →
הסורקים של Anthropic: ClaudeBot, Claude-SearchBot ו-Claude-User →