האם Claude רואה את האתר שלכם? איך לבדוק
Claude יכול לקרוא את העמוד שלכם רק אם robots.txt מתיר את הסוכנים של Anthropic והשרת שולח להם את אותו HTML שמקבל דפדפן. בדקו ש-robots.txt לא חוסם את Claude-SearchBot או את Claude-User, שחומת האש לא עונה להם ב-403 או בעמוד אתגר, ושהטקסט הראשי נמצא ב-HTML הראשוני. אחר כך בדקו את Claude עצמו: הדביקו את כתובת ה-URL שלכם בשיחה ושאלו את השאלות שהלקוחות שלכם שואלים, עם חיפוש באינטרנט מופעל.
אם אתם שואלים את Claude על המוצר שלכם והוא מצטט אתרים אחרים, השאלה הראשונה היא אם הוא בכלל מגיע לאתר שלכם. לשאלה הזאת יש תשובה שאפשר לבדוק. Anthropic מפרסמת את טוקני ה-robots.txt של הסוכנים שלה ואת כתובות ה-IP שמהן הם מגיעים, ו-Claude מציג את המקורות שבהם השתמש. כך אפשר לבדוק כל שלב לפי הסדר: מה robots.txt אומר, מה השרת שולח, מה נרשם בלוגים, ומה Claude עושה עם עמוד כשנותנים לו אותו.
בעמוד זה
- הבדיקה של 5 דקות, צעד אחר צעד
- איך Claude קורא אתרים?
- איך לבדוק ב-robots.txt אם Claude יכול לגשת לאתר שלי?
- איך לבדוק מה הסוכנים של Claude מקבלים מהשרת שלי?
- איך לראות אם Claude באמת מבקר באתר שלי?
- איך לבדוק את Claude עצמו עם העמוד שלי?
- ומה אם Claude יכול לקרוא את העמוד אבל עדיין לא מצטט אותו?
- איך AISeeWhy בודק את זה?
הבדיקה של 5 דקות, צעד אחר צעד
- פתחו את ה-robots.txt שלכם וודאו שאף קבוצה עבור
Claude-SearchBot,Claude-UserאוUser-agent: *לא חוסמת את העמוד.ClaudeBotחשוב רק לאימון. - הריצו בדיקה חינמית של העמוד ב-AISeeWhy או שלחו בקשה אחת עם ה-user agent
Claude-User: היא צריכה לקבל סטטוס 200 ואת אותו טקסט שדפדפן מקבל. - חפשו ביומן הגישה שלכם את
Claude-SearchBotו-Claude-Userוהסתכלו על קודי הסטטוס שהם קיבלו. - הדביקו את כתובת ה-URL שלכם ב-Claude עם חיפוש ברשת פעיל, בקשו ממנו לסכם את העמוד, ואז שאלו שאלה שהלקוחות שלכם שואלים ובדקו את הציטוטים.
אם צעד 1 או 2 נכשל, תקנו קודם את הגישה; המקטעים הבאים מראים איך. אם Claude קורא את העמוד אבל לא מצטט אותו, עבדו על התוכן.
איך Claude קורא אתרים?
Claude מגיע לאינטרנט בשתי דרכים. עם חיפוש באינטרנט, הוא מחפש כשהשאלה דורשת מידע עדכני, בוחן כמה מקורות ועונה עם ציטוטים. מרכז העזרה של Anthropic אומר שכל תשובה שמשתמשת בחיפוש באינטרנט כוללת ציטוטים. כשמישהו נותן ל-Claude קישור מסוים, הוא יכול לפתוח את העמוד ישירות.
Anthropic מתעדת שלושה סוכנים לצורך זה, לכל אחד טוקן robots.txt משלו. Claude-SearchBot סורק כדי לשפר את תוצאות החיפוש של Claude, Claude-User מביא עמודים כשהשאלה של משתמש דורשת אותם, ו-ClaudeBot אוסף תוכן שעשוי לשמש לאימון. המדריך הנפרד שלנו על שלושת הסורקים של Anthropic מפרט מה כל אחד עושה. כדי להיקרא ולהיות מצוטטים, את שני הראשונים צריך לבדוק.
מגבלה אחת בכנות: Anthropic לא מתעדת באיזה אינדקס חיפוש משתמש החיפוש של Claude או איך הוא בוחר מקורות. היא אומרת שחסימת Claude-SearchBot עלולה להפחית את הנראות שלכם בתוצאות החיפוש, ושחסימת Claude-User מונעת שליפה עבור שאלות של משתמשים. התרת שניהם מאפשרת ציטוט; היא לא מבטיחה אותו.
איך לבדוק ב-robots.txt אם Claude יכול לגשת לאתר שלי?
פתחו את https://yourdomain.com/robots.txt וחפשו קבוצות שמציינות את Claude-SearchBot או את Claude-User. אם אף אחד מהם לא מוזכר, שניהם פועלים לפי הקבוצה User-agent: *. לפי RFC 9309 התאמת הטוקנים לא תלויה באותיות גדולות או קטנות, ו-Disallow: / בקבוצה הרלוונטית סוגר את כל האתר בפני הסוכן הזה.
בדקו גם את התגובה עצמה. robots.txt שמחזיר שגיאת שרת אומר לסורקים להניח שהכול חסום. 404 פירושו שאין כללים. שתי פקודות מציגות את הסטטוס ואת כל הקבוצות בקובץ:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic אומרת שהכללים צריכים להיות ב-robots.txt ברמה העליונה של כל תת-דומיין, כך ש-blog.example.com צריך קובץ משלו. החסימות האלה לא נדירות. במחקר שלנו על 1,000 הדומיינים הפופולריים ביותר, 67 מתוך 518 האתרים שהגישו robots.txt (12.9%) חסמו את דף הבית עבור Claude-SearchBot ו-68 (13.1%) עבור Claude-User, לעומת 110 (21.2%) שעשו זאת עבור סורק האימון ClaudeBot.
איך לבדוק מה הסוכנים של Claude מקבלים מהשרת שלי?
robots.txt הוא בקשה, לא בקרת גישה. חומת אש, CDN או הגנה מפני בוטים יכולים לענות לסוכנים של Anthropic ב-403, ב-429 או בעמוד אתגר, בזמן שהדפדפן שלכם רואה את העמוד כרגיל. Anthropic אומרת שהבוטים שלה לא ינסו לעקוף CAPTCHA, כך שעמוד אתגר מסיים את הביקור.
בקשו את אותה כתובת URL עם user agent של דפדפן ועם כל אחד מהטוקנים של Anthropic, והשוו סטטוס וגודל:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done דף העזרה של Anthropic מציין את הטוקנים אבל לא מפרסם מחרוזות user agent מלאות, ולכן אלה מחרוזות בדיקה ולא המחרוזות האמיתיות של Anthropic. הן מראות איך כללים שמתבססים על השם מטפלים בבקשה. 403, 429 או 503 רק בשורות של Claude, או 200 קטן בהרבה משל הדפדפן, מצביעים על חומת האש שלכם.
הבדיקה שלכם יוצאת מכתובת ה-IP שלכם. Anthropic אומרת שבקשות מכתובות שברשימה שלה ב-claude.com/crawling/bots.json מגיעות מ-Anthropic. אם חומת האש מתירה סורקים מאומתים לפי IP, הסוכנים האמיתיים עשויים לעבור בזמן שהבדיקה שלכם נחסמת, וגם ההפך אפשרי. השתמשו ברשימה כדי להתיר את Anthropic, לא כדי לחסום אותה: Anthropic ממליצה לא לחסום לפי IP, כי זה מונע גם מהבוטים שלה לקרוא את robots.txt.
איך לראות אם Claude באמת מבקר באתר שלי?
לוגי הגישה עונים על זה ישירות. חפשו בהם את שלושת הטוקנים, ואז בדקו שכתובות המקור נמצאות בטווחים ש-Anthropic מפרסמת, כי כל אחד יכול להעתיק שם של user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' הפקודה הראשונה מניחה את פורמט הלוג המשולב הנפוץ, שבו שדה 1 הוא כתובת הלקוח ושדה 9 הוא קוד הסטטוס. הרבה קודי 403 או 429 ליד הסוכנים של Anthropic מאשרים בעיה בחומת האש. היעדר מוחלט של ביקורים מ-Claude-SearchBot אומר רק שהוא עדיין לא סרק את העמודים האלה, או שמשהו עוצר אותו מוקדם יותר.
איך לבדוק את Claude עצמו עם העמוד שלי?
פתחו שיחה והדביקו את כתובת ה-URL של אחד העמודים שלכם עם בקשה כמו ״סכם את העמוד הזה״. מרכז העזרה של Anthropic אומר שכשהחיפוש באינטרנט מופעל, Claude יכול לפתוח קישורים שאתם נותנים. אם החיפוש באינטרנט כבוי, הפעילו אותו מתפריט +; בחוויית Claude החדשה של Anthropic אין מתג, ו-Claude מחפש כשזה עוזר. במסלולי Team ו-Enterprise בעלים צריך קודם להפעיל חיפוש באינטרנט לארגון. אם Claude לא מצליח לפתוח את העמוד בזמן שדפדפן כן, חזרו לבדיקת חומת האש.
אחר כך שאלו את השאלות שהלקוחות שלכם שואלים, בלי לציין את האתר שלכם, ופתחו את המקורות המצוטטים. Anthropic אומרת ש-Claude עשוי להשתמש במיקום שהוסק מכתובת ה-IP שלכם כדי לתת תוצאות מקומיות, כך שהתשובות יכולות להשתנות לפי מקום ובין הרצות.
מפתחים יכולים לחזור על זה דרך Claude API. כלי החיפוש באינטרנט מקבל רשימת allowed_domains, כך שבקשה שמוגבלת לדומיין שלכם מראה אם החיפוש של Claude מחזיר עמוד כלשהו שלכם לשאלה מסוימת:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' תוצאות חיפוש ריקות אומרות שהחיפוש של Claude לא מצא כלום בדומיין הזה לשאלה הזאת. Anthropic גובה על חיפושים באינטרנט דרך ה-API בנוסף לטוקנים. כלי ה-web fetch של ה-API גם מדווח למה עמוד לא נקרא: url_not_allowed מכסה חסימות כמו robots.txt, ו-url_not_accessible פירושו שגיאת HTTP. תשובות ה-API יכולות להיות שונות ממה שאפליקציות Claude מציגות.
ומה אם Claude יכול לקרוא את העמוד אבל עדיין לא מצטט אותו?
קודם ודאו שהטקסט שהוא צריך נמצא ב-HTML שהשרת שולח. תיעוד ה-API של Anthropic אומר שכלי ה-web fetch שלה לא תומך באתרים שמרונדרים ב-JavaScript, ו-Anthropic לא אומרת שהסורקים שלה מריצים סקריפטים. הביאו את העמוד עם curl וחפשו בפלט משפט מהתוכן הראשי. אם הוא חסר, רינדור בצד השרת או prerendering פותרים את זה עבור Claude ועבור רוב סורקי ה-AI האחרים.
מכאן העמוד עצמו מכריע. שימו את התשובה לשאלה המרכזית של העמוד במשפטים הראשונים, השתמשו בכותרות שתואמות את השאלות שאנשים שואלים, ציינו את המפרסם והציגו תאריכים. אחר כך השוו את העמוד שלכם לעמוד ש-Claude מצטט לאותה שאלה: העמוד המצוטט עונה פעמים רבות על השאלה המדויקת ישירות יותר.
איך AISeeWhy בודק את זה?
הבדיקה החינמית של AISeeWhy מביאה את העמוד שלכם בתור Claude-SearchBot, Claude-User, ClaudeBot ושאר סורקי ה-AI והחיפוש, לצד דפדפן אמיתי, מחילה את robots.txt על כל אחד, מזהה עמודי אתגר ומראה כמה טקסט מגיע בלי JavaScript. בדיקת הנראות ב-AI, בניסיון ובמסלולים בתשלום, שואלת את השאלות שלכם דרך Claude עם חיפוש באינטרנט, במפתח ה-API שלכם, ומראה אם המותג או הדומיין שלכם מוזכרים או מצוטטים.
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
אפשר לבדוק בחינם אם Claude רואה את האתר שלי?
כן. ה-robots.txt שלכם, בקשת curl, יומן השרת ושאלה ב-Claude לא עולים דבר. הבדיקה החינמית של AISeeWhy בודקת את הסוכנים של Anthropic ו-13 סורקים נוספים לעמוד אחד ביום בלי חשבון.
למה Claude לא מצליח לפתוח את האתר שלי כשאני מדביק את הקישור?
הסיבות הנפוצות הן חומת אש או הגנה מפני בוטים שעונה לסוכנים של Anthropic ב-403 או בעמוד אתגר, כלל ב-robots.txt שחוסם את Claude-User, או עמוד שהטקסט שלו מופיע רק אחרי ש-JavaScript רץ. בדקו את הכתובת עם curl בתור דפדפן ועם הטוקנים של Claude, וחפשו בלוגים בקשות חסומות.
האם Anthropic מפרסמת מחרוזת user agent שאפשר לבדוק איתה?
דף העזרה של Anthropic על הסורקים מפרט את הטוקנים ClaudeBot, Claude-SearchBot ו-Claude-User, אבל לא מחרוזות user agent מלאות. כדי להבחין בין תנועה אמיתית של Anthropic לבין מתחזים, השוו את כתובת ה-IP של המקור לרשימה ב-claude.com/crawling/bots.json.
כמה זמן לוקח לשינוי ב-robots.txt להגיע ל-Claude?
Anthropic לא מציינת זמן. RFC 9309 אומר שסורקים לא צריכים להשתמש ב-robots.txt שמור במטמון יותר מ-24 שעות, אז חכו לפחות יום לפני שאתם שופטים את התוצאה בלוגים או בתשובות של Claude.
האם Claude API נותן את אותן תשובות כמו אפליקציית Claude?
לא בהכרח. האפליקציה עשויה להשתמש במיקום המשוער שלכם ובהגדרות שלה, ואילו בקשת API משתמשת בכלים ובפרמטרים שאתם שולחים. התייחסו לתוצאות ה-API כבדיקה שאפשר לחזור עליה, לא כהעתק של מה שכל משתמש רואה.
איך לדעת אם Claude מזכיר את המותג שלי?
שאלו את Claude, עם חיפוש באינטרנט מופעל, את השאלות שהלקוחות שלכם שואלים, ורשמו אם הוא מזכיר או מצטט את האתר שלכם ואילו מתחרים מופיעים במקומכם. חזרו על כל שאלה לאורך כמה שבועות, כי התשובות משתנות. בדיקת הנראות ב-AI של AISeeWhy עושה את זה מדי שבוע דרך Claude API עם המפתח שלכם, לצד עד ארבעה מתחרים.
מקורות
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: רשימת כתובות ה-IP של הסורקים (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: דוח גישת סורקי AI, 2026-11