ארבעה מכל עשרה אתרים עסקיים חוסמים סורקי בינה מלאכותית
בביקורות שערכנו ב-165 אתרים עסקיים בארה"ב, בבריטניה ובצרפת, 38% דחו בשרת לפחות סורק AI אחד, כמעט תמיד בוט אימון או סקרייפר. כאחד מכל עשרה אתרים סירב גם לסורק חיפוש AI כמו PerplexityBot או OAI-SearchBot, הסורקים שיכולים להוביל לציטוט. אפשר לבדוק את האתר שלכם בבקשה אחת לכל סורק.
אתם שואלים את ChatGPT על המוצר שלכם, והוא מציין מתחרה, אתר ביקורות ושרשור בפורום. לפעמים זו שאלה של תוכן. לעיתים קרובות זו חומת אש שעונה לסורקי AI בסירוב, ואף אחד בצוות לא שם לב לכך, כי האתר עובד בדפדפן.
בעמוד זה
מה בדקנו?
ביקשנו עמוד כמה פעמים מאותה כתובת: פעם אחת כדפדפן רגיל, ופעם אחת בכל אחד מ-14 סורקי AI וחיפוש, ביניהם GPTBot, OAI-SearchBot ו-ChatGPT-User של OpenAI, ClaudeBot ו-Claude-SearchBot של Anthropic ו-PerplexityBot של Perplexity. אם הדפדפן מקבל את העמוד והסורק מקבל 401, 403, 406, 429, 451, 503 או עמוד אתגר, האתר דוחה את הסורק הזה.
המדגם כולל 218 אתרים עסקיים בארה"ב, בבריטניה ובצרפת, שנבדקו בין 18 ל-21 בנובמבר 2026. הצלחנו להריץ את הבדיקה המלאה על 165 מהם. 53 האתרים האחרים סירבו אפילו לבקשת הדפדפן הרגילה שלנו או לא ענו, ולכן השמטנו אותם במקום לנחש.
מה מצאנו?
- 38% מהאתרים שניתן היה לבדוק (63 מתוך 165) דחו לפחות סורק AI אחד.
- כל אחד מהאתרים האלה סירב לפחות לסורק אימון או סקרייפר אחד.
Bytespiderנדחה ב-35% מכלל האתרים,ClaudeBotב-13% ו-GPTBotב-11%. - 10% מהאתרים (16) סירבו גם לפחות לסורק חיפוש AI אחד, ו-5% (8) סירבו לסורק שפותח עמוד בזמן אמת כשאדם שואל עליו את העוזר.
- סורקי החיפוש שנחסמו הכי הרבה היו
PerplexityBot(11 אתרים) ו-OAI-SearchBot(5 אתרים). - Cloudflare עמדה מאחורי 32 מתוך 66 האתרים שדחו סורק כלשהו מבין אלה שבדקנו. ב-30 נוספים לא הצלחנו לזהות איזו חומת אש ענתה.
למה זה קורה, ומתי זו בחירה?
סביר שחלק גדול מזה מכוון. בעלי אתרים רבים לא רוצים שהתוכן שלהם ישמש לאימון מודלים, וקל להפעיל הגדרות הגנה מפני בוטים שחוסמות סקרייפרים. זו בחירה לגיטימית.
הבעיה היא שחברות AI מפעילות סורקים נפרדים לאימון ולחיפוש. חסימת סורק האימון לא מחייבת חסימת סורק החיפוש, וסורק החיפוש הוא זה שיכול להוביל לציטוט העמוד שלכם בתשובה.
האם האתרים הגדולים ביותר מתמודדים טוב יותר?
לא באמת. בדוח robots.txt שלנו על 1,000 הדומיינים הפופולריים ביותר, 29.9% מהאתרים שיש להם robots.txt חוסמים לפחות סורק אימון AI אחד, ו-63.2% מהם חוסמים גם לפחות סורק חיפוש או משתמש AI אחד. רק 11.0% חוסמים אימון ומתירים את כל סורקי החיפוש של AI, וזו כנראה ההגדרה שרובם רצו.
איך בודקים את האתר שלי תוך עשר דקות?
- פתחו את
yoursite.com/robots.txt. לכל סורק AI שחשוב לכם, בדקו אם קבוצה מציינת אותו ומה היא אומרת. קבוצה שמציינת סורק מחליפה לגמרי את הקבוצה הכללית*. - בדקו מה השרת עושה בפועל, לא מה כתוב בקובץ. בקשו את העמוד החשוב שלכם כדפדפן וכסורק. 403, 429, עמוד שכותרתו
Just a moment...או תגובה קטנה בהרבה מזו של הדפדפן הם סימן להיכר של חסימת חומת אש. - שאלו את העוזר. כשהחיפוש מופעל, שאלו את ChatGPT או את Perplexity את השאלות שהלקוחות שלכם שואלים, וראו אילו אתרים הוא מצטט. אם הגישה תקינה ועדיין אינכם מופיעים, הבעיה היא בתוכן ולא בגישה.
עד כמה המספרים האלה אמינים?
התייחסו אליהם כאל דפוס, לא כאל מפקד. המדגם אינו אקראי: אלה חברות שנמצאו דרך ספריות מודעות, אתרי דרושים ורישומי מפות. אנו בודקים לפי user agent מכתובת אחת, בעוד שהסורקים האמיתיים מגיעים מהכתובות שהספקים שלהם מפרסמים, ולכן חלק מחומות האש היו מתייחסות אליהם אחרת. וחסימה אינה תמיד טעות.
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
איזה אחוז מהאתרים חוסם סורקי AI?
בביקורת שלנו על 165 אתרים עסקיים שניתן היה לבדוק, 38% דחו בשרת לפחות סורק AI אחד, ברובם בוטים של אימון וסקרייפרים. כ-10% סירבו גם לסורק חיפוש AI.
האם חסימת GPTBot מוציאה את האתר שלי מהחיפוש של ChatGPT?
לא. OpenAI מציינת שכל הגדרת robots.txt עבור הסורקים שלה עצמאית: GPTBot קשור לאימון ו-OAI-SearchBot לחיפוש של ChatGPT. חסימת אחד אינה חוסמת את האחר.
איך אתר יכול לחסום סורק בלי robots.txt?
כלל בחומת אש, ברשת CDN או בהגנה מפני בוטים יכול להשיב לסורק 403, 429 או עמוד אתגר. robots.txt לעולם לא מראה זאת, ולכן צריך לבדוק על ידי בקשת העמוד כסורק.
האם דחיית סורק היא תמיד טעות?
לא. בעלי אתרים רבים רוצים להרחיק סורקי אימון וסקרייפרים. הטעות היא לחסום בטעות סורקי חיפוש, כי הם אלה שיכולים לצטט את העמוד שלכם.
מקורות
- AISeeWhy: דוח גישת סורקי AI, 2026-11
- RFC 9309: פרוטוקול הוצאת רובוטים (Robots Exclusion Protocol)
- OpenAI: סקירת הסורקים של OpenAI
- Perplexity: הסורקים של Perplexity
- Cloudflare: ניהול סורקי AI (AI Crawl Control)