ארבעה מכל עשרה אתרים עסקיים חוסמים סורקי בינה מלאכותית

פורסם

תשובה קצרה

בביקורות שערכנו ב-165 אתרים עסקיים בארה"ב, בבריטניה ובצרפת, 38% דחו בשרת לפחות סורק AI אחד, כמעט תמיד בוט אימון או סקרייפר. כאחד מכל עשרה אתרים סירב גם לסורק חיפוש AI כמו PerplexityBot או OAI-SearchBot, הסורקים שיכולים להוביל לציטוט. אפשר לבדוק את האתר שלכם בבקשה אחת לכל סורק.

אתם שואלים את ChatGPT על המוצר שלכם, והוא מציין מתחרה, אתר ביקורות ושרשור בפורום. לפעמים זו שאלה של תוכן. לעיתים קרובות זו חומת אש שעונה לסורקי AI בסירוב, ואף אחד בצוות לא שם לב לכך, כי האתר עובד בדפדפן.

בעמוד זה
  1. מה בדקנו?
  2. מה מצאנו?
  3. למה זה קורה, ומתי זו בחירה?
  4. האם האתרים הגדולים ביותר מתמודדים טוב יותר?
  5. איך בודקים את האתר שלי תוך עשר דקות?
  6. עד כמה המספרים האלה אמינים?

מה בדקנו?

ביקשנו עמוד כמה פעמים מאותה כתובת: פעם אחת כדפדפן רגיל, ופעם אחת בכל אחד מ-14 סורקי AI וחיפוש, ביניהם GPTBot, OAI-SearchBot ו-ChatGPT-User של OpenAI, ClaudeBot ו-Claude-SearchBot של Anthropic ו-PerplexityBot של Perplexity. אם הדפדפן מקבל את העמוד והסורק מקבל 401, 403, 406, 429, 451, 503 או עמוד אתגר, האתר דוחה את הסורק הזה.

המדגם כולל 218 אתרים עסקיים בארה"ב, בבריטניה ובצרפת, שנבדקו בין 18 ל-21 בנובמבר 2026. הצלחנו להריץ את הבדיקה המלאה על 165 מהם. 53 האתרים האחרים סירבו אפילו לבקשת הדפדפן הרגילה שלנו או לא ענו, ולכן השמטנו אותם במקום לנחש.

מה מצאנו?

למה זה קורה, ומתי זו בחירה?

סביר שחלק גדול מזה מכוון. בעלי אתרים רבים לא רוצים שהתוכן שלהם ישמש לאימון מודלים, וקל להפעיל הגדרות הגנה מפני בוטים שחוסמות סקרייפרים. זו בחירה לגיטימית.

הבעיה היא שחברות AI מפעילות סורקים נפרדים לאימון ולחיפוש. חסימת סורק האימון לא מחייבת חסימת סורק החיפוש, וסורק החיפוש הוא זה שיכול להוביל לציטוט העמוד שלכם בתשובה.

האם האתרים הגדולים ביותר מתמודדים טוב יותר?

לא באמת. בדוח robots.txt שלנו על 1,000 הדומיינים הפופולריים ביותר, 29.9% מהאתרים שיש להם robots.txt חוסמים לפחות סורק אימון AI אחד, ו-63.2% מהם חוסמים גם לפחות סורק חיפוש או משתמש AI אחד. רק 11.0% חוסמים אימון ומתירים את כל סורקי החיפוש של AI, וזו כנראה ההגדרה שרובם רצו.

איך בודקים את האתר שלי תוך עשר דקות?

  1. פתחו את yoursite.com/robots.txt. לכל סורק AI שחשוב לכם, בדקו אם קבוצה מציינת אותו ומה היא אומרת. קבוצה שמציינת סורק מחליפה לגמרי את הקבוצה הכללית *.
  2. בדקו מה השרת עושה בפועל, לא מה כתוב בקובץ. בקשו את העמוד החשוב שלכם כדפדפן וכסורק. 403, 429, עמוד שכותרתו Just a moment... או תגובה קטנה בהרבה מזו של הדפדפן הם סימן להיכר של חסימת חומת אש.
  3. שאלו את העוזר. כשהחיפוש מופעל, שאלו את ChatGPT או את Perplexity את השאלות שהלקוחות שלכם שואלים, וראו אילו אתרים הוא מצטט. אם הגישה תקינה ועדיין אינכם מופיעים, הבעיה היא בתוכן ולא בגישה.

עד כמה המספרים האלה אמינים?

התייחסו אליהם כאל דפוס, לא כאל מפקד. המדגם אינו אקראי: אלה חברות שנמצאו דרך ספריות מודעות, אתרי דרושים ורישומי מפות. אנו בודקים לפי user agent מכתובת אחת, בעוד שהסורקים האמיתיים מגיעים מהכתובות שהספקים שלהם מפרסמים, ולכן חלק מחומות האש היו מתייחסות אליהם אחרת. וחסימה אינה תמיד טעות.

כלים חינמיים

הצעדים הבאים

הסורקים במאמר הזה

שאלות נפוצות

איזה אחוז מהאתרים חוסם סורקי AI?

בביקורת שלנו על 165 אתרים עסקיים שניתן היה לבדוק, 38% דחו בשרת לפחות סורק AI אחד, ברובם בוטים של אימון וסקרייפרים. כ-10% סירבו גם לסורק חיפוש AI.

האם חסימת GPTBot מוציאה את האתר שלי מהחיפוש של ChatGPT?

לא. OpenAI מציינת שכל הגדרת robots.txt עבור הסורקים שלה עצמאית: GPTBot קשור לאימון ו-OAI-SearchBot לחיפוש של ChatGPT. חסימת אחד אינה חוסמת את האחר.

איך אתר יכול לחסום סורק בלי robots.txt?

כלל בחומת אש, ברשת CDN או בהגנה מפני בוטים יכול להשיב לסורק 403, 429 או עמוד אתגר. robots.txt לעולם לא מראה זאת, ולכן צריך לבדוק על ידי בקשת העמוד כסורק.

האם דחיית סורק היא תמיד טעות?

לא. בעלי אתרים רבים רוצים להרחיק סורקי אימון וסקרייפרים. הטעות היא לחסום בטעות סורקי חיפוש, כי הם אלה שיכולים לצטט את העמוד שלכם.

מקורות

מאמרים נוספים