קראנו את robots.txt של 10,000 האתרים הפופולריים ביותר. כך הם מתייחסים לסורקי AI

פורסם

תשובה קצרה

מבין 6,192 הדומיינים ברשימת Tranco של 10,000 הגדולים שמגישים robots.txt, 23.2% חוסמים לפחות סורק אימון אחד של AI ו-12.3% חוסמים לפחות סורק חיפוש או סורק משתמש אחד של AI. 51.6% מהאתרים שחוסמים אימון חוסמים גם חיפוש של AI. רק 11.2% בוחרים לא להשתתף באימון ובכל זאת מתירים לכל סורקי החיפוש של AI.

בנובמבר קראנו את robots.txt של 1,000 הדומיינים הפופולריים ביותר. הפעם קראנו 10,000, באותה שיטה, והוספנו בדיקה של האופן שבו התמונה משתנה ככל שהאתרים קטנים יותר. המסקנה העיקרית נשמרת: חסימת אימון וחסימת חיפוש נתפסות כהחלטה אחת, אף שהן שתי החלטות נפרדות.

בעמוד זה
  1. איך מדדנו?
  2. מה מצאנו?
  3. אילו סורקים נחסמים הכי הרבה?
  4. האם אתרים גדולים חוסמים יותר?
  5. האם משהו השתנה מאז הדוח מ-12 בנובמבר?
  6. מה זה אומר על ה-robots.txt שלכם?
  7. עד כמה המספרים אמינים?

איך מדדנו?

לקחנו את 10,000 הדומיינים הראשונים ברשימת Tranco (מזהה הרשימה JZWZY) ופנינו פעם אחת לדף הבית, ל-robots.txt ול-llms.txt של כל דומיין ב-21 בנובמבר 2026, בתור ה-user agent של AISeeWhy. שפטנו כל robots.txt לפי RFC 9309 עבור דף הבית (/) ועבור 16 סורקי AI וסורקי חיפוש.

6,192 מתוך 10,000 הדומיינים הגישו robots.txt (תשובה תקינה שאינה דף HTML). 1,121 ענו בקוד 4xx, כלומר ללא כללים וכל הסורקים מותרים, ו-2,687 לא הגישו קובץ כזה (אין אתר HTTPS, שגיאות, פסקי זמן או דף HTML במקומו). כל האחוזים להלן הם מתוך 6,192. הרשימה כוללת CDN ו-API שאינם מגישים אתר.

מה מצאנו?

אילו סורקים נחסמים הכי הרבה?

שיעור מתוך 6,192 הדומיינים ש-robots.txt שלהם אוסר על הסורק את דף הבית:

האם אתרים גדולים חוסמים יותר?

כן, והם גם מערבבים יותר בין אימון לחיפוש. חילקנו את הרשימה לפי דירוג:

הדרך הסלקטיבית נדירה בכל גודל: 10.5%, 10.4% ו-11.5% מהדומיינים בשלוש הקבוצות.

האם משהו השתנה מאז הדוח מ-12 בנובמבר?

הרצנו מחדש את 1,000 הדומיינים הראשונים עם אותה רשימה. התוצאה יציבה בטווח של כנקודה אחת: 28.6% חוסמים אימון (29.9% ב-12 בנובמבר), 18.6% חוסמים חיפוש של AI (19.5%), ו-63.1% מחוסמי האימון חוסמים גם חיפוש של AI (63.2%). המכנים שונים מעט (כעת 560 דומיינים עם robots.txt, אז 518) כי בהרצה הזו אנחנו עוקבים אחרי ההפניה של הדומיין לשרת הראשי שלו לפני הבאת הקובץ.

מה זה אומר על ה-robots.txt שלכם?

רוב חברות ה-AI מתעדות סורקים נפרדים לאימון ולחיפוש ומציינות שההגדרות בלתי תלויות. אם אתם אוסרים על GPTBot, OAI-SearchBot לא מושפע, ואם אתם אוסרים על ClaudeBot, Claude-SearchBot לא מושפע. אם אתם רוצים לא להשתתף באימון ובכל זאת להיות מצוטטים, חסמו את אסימוני האימון והתירו את אסימוני החיפוש והמשתמש, וחזרו על כל נתיב פרטי בכל קבוצה, כי קבוצה בעלת שם אינה יורשת מ-*.

עד כמה המספרים אמינים?

אלה כללי robots.txt לדף הבית, שנקראו על ידי מנתח אחד ביום אחד. הם לא מודדים חסימות חומת אש, שיכולות לסרב לסורק ש-robots.txt מתיר. הם לא יכולים לומר מה כל אתר התכוון לעשות, ורשימת Tranco כוללת דומיינים שאינם מגישים אתר. כלל שחוסם סורק חיפוש אינו הוכחה לטעות, אלא לבחירה שנעשית לעיתים קרובות בלי להכיר את ההבדל. מותר לצטט את הנתונים עם קישור לעמוד הזה.

כלים חינמיים

הצעדים הבאים

הסורקים במאמר הזה

שאלות נפוצות

איזה שיעור מהאתרים הפופולריים חוסמים סורקי AI?

מבין 6,192 הדומיינים ברשימת Tranco של 10,000 הגדולים שמגישים robots.txt, 23.2% חוסמים לפחות סורק אימון אחד של AI ו-12.3% חוסמים לפחות סורק חיפוש או סורק משתמש אחד של AI.

האם אתרים שחוסמים אימון של AI חוסמים גם חיפוש של AI?

לעיתים קרובות. 51.6% מהאתרים שחוסמים סורק אימון חוסמים גם לפחות סורק חיפוש או סורק משתמש אחד של AI, אף שהספקים מתעדים אותם כסורקים נפרדים עם הגדרות בלתי תלויות.

איזה סורק AI נחסם הכי הרבה?

בין סורקי האימון, Bytespider (18.7%) ו-CCBot (18.5%), ואחריהם GPTBot (17.4%). בין סורקי החיפוש של AI, PerplexityBot נחסם הכי הרבה, ב-10.4% מהדומיינים.

למה המספרים שונים מהדוח על 1,000 האתרים?

1,000 הדומיינים הראשונים נותנים כמעט אותם אחוזים (28.6% ו-18.6% לעומת 29.9% ו-19.5%). המספרים של 10,000 האתרים נמוכים יותר כי אתרים קטנים חוסמים פחות.

מקורות

מאמרים נוספים