איך לחסום אימון של AI ולהישאר בתשובות חיפוש של AI

Q: האם חסימת GPTBot תוציא את האתר שלי מתשובות ChatGPT?

לא. OpenAI אומרת ש-GPTBot מיועד לאימון ושכל הגדרה ב-robots.txt עצמאית. החיפוש של ChatGPT משתמש ב-OAI-SearchBot; כל עוד הוא מותר ולא חסום בחומת האש שלכם, העמודים שלכם נשארים כשירים.

Q: האם חסימת Google-Extended מוציאה אותי מ-AI Overviews?

לא לפי התיעוד של Google. Google אומרת ש-Google-Extended לא משפיע על הכללה בחיפוש Google, ו-AI Overviews נשענים על אינדקס החיפוש. Google מציעה בקרה נפרדת ב-Search Console להוצאת אתר מ-AI Overviews ומ-AI Mode.

Q: האם יש שורה אחת שחוסמת כל אימון של AI?

לא, אין שורה סטנדרטית כזאת. Content-Signal: ai-train=no מצהיר על ההעדפה עבור כל הסורקים, אבל האם סורק מכבד אותה תלוי במפעיל. קבוצות בשם לכל טוקן אימון הן הדרך המתועדת.

פורסם 2026-11-12

תשובה קצרה

רוב ספקי ה-AI משתמשים בטוקנים נפרדים ב-robots.txt לאימון מודלים ולחיפוש. חסמו את טוקני האימון, כמו GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ו-CCBot, ואפשרו את טוקני החיפוש והמשתמש, כמו OAI-SearchBot, Claude-SearchBot ו-PerplexityBot. הוסיפו שורת Content-Signal כדי לבטא את אותה העדפה במילים.

בעלי אתרים רבים רוצים שני דברים בו בזמן: הם לא רוצים שהתוכן שלהם ישמש לאימון מודלי AI, והם כן רוצים שעוזרי AI ימצאו את העמודים שלהם, יצטטו אותם ויקשרו אליהם. מכיוון שהספקים הגדולים מפצלים היום את התפקידים האלה בין סורקים או טוקנים שונים, robots.txt יכול לבטא את שתי ההחלטות. הקושי הוא שהשמות שונים בין ספקים, כמה ספקים לא מתאימים לתבנית, ושורה אחת שגויה יכולה להוציא אתכם מתשובות AI במקום מנתוני האימון.

בעמוד זה

מה ההבדל בין סורק אימון לסורק חיפוש?
אילו טוקנים שולטים באימון ואילו בחיפוש?
איך נראה ה-robots.txt?
כמה אתרים כבר עושים את זה?
מה Content-Signal מוסיף?
איפה הפיצול לא עובד בצורה נקייה?
איך בודקים שהפיצול עובד?

מה ההבדל בין סורק אימון לסורק חיפוש?

סורק אימון אוסף עמודים שעשויים לשמש לבניית מודלי AI או לשיפורם. אימון כשלעצמו לא מייצר ציטוט או קישור. סורק חיפוש בונה אינדקס שעוזר AI משתמש בו כדי למצוא מקורות לתשובה, ואת המקורות האלה הוא יכול לצטט. מנגנון הבאה שמופעל על ידי משתמש פותח עמוד בזמן אמת כי מישהו שאל עליו.

הספקים מתעדים את התפקידים האלה בנפרד ואומרים שההגדרות עצמאיות. OpenAI, למשל, אומרת שכל הגדרה ב-robots.txt עבור הסורקים שלה עצמאית משאר ההגדרות. לכן ביטול הסכמה לאימון, כשעושים אותו נכון, לא פוגע בנראות שלכם בחיפוש.

אילו טוקנים שולטים באימון ואילו בחיפוש?

אלה הטוקנים שהספקים מתעדים, מקובצים לפי מה שהם שולטים בו:

OpenAI: GPTBot סורק תוכן שעשוי לשמש לאימון מודלי היסוד שלה. OAI-SearchBot מיועד לחיפוש של ChatGPT, ו-ChatGPT-User מטפל בפעולות של משתמשים; OpenAI אומרת ש-robots.txt אולי לא חל עליו.
Anthropic: ClaudeBot אוסף תוכן שעשוי לתרום לאימון. Claude-SearchBot משפר את תוצאות החיפוש של Claude, ו-Claude-User מביא עמודים עבור משתמשים. Anthropic אומרת שהבוטים שלה מכבדים את robots.txt.
Google: Google-Extended הוא טוקן robots.txt ללא סורק משלו. הוא שולט בשימוש לאימון מודלי Gemini עתידיים ובעיגון (grounding) עבור Gemini Apps ו-Vertex AI. Google אומרת שהוא לא משפיע על הכללה או דירוג בחיפוש Google, שנשלטים דרך Googlebot.
Apple: Applebot-Extended אינו סורק; הוא שולט אם תוכן ש-Applebot סרק ישמש לאימון מודלי היסוד של Apple. Apple אומרת שעמודים שחוסמים אותו יכולים עדיין להופיע בתוצאות החיפוש שלה.
Meta: meta-externalagent סורק לשימושים כמו אימון מודלי יסוד, ואילו meta-webindexer משפר את תוצאות החיפוש של Meta AI.
Common Crawl: CCBot בונה את ארכיון הרשת הציבורי של Common Crawl. ה-robots.txt המנוהל של Cloudflare מונה אותו בין סורקי האימון של AI שהוא חוסם.
Perplexity: PerplexityBot ו-Perplexity-User משרתים חיפוש ובקשות של משתמשים. Perplexity אומרת שאף אחד מהם לא משמש לאיסוף נתוני אימון, ולכן אין טוקן אימון של Perplexity לחסום.

איך נראה ה-robots.txt?

כמה שורות User-agent ברצף יוצרות קבוצה אחת לפי RFC 9309, ולכן הכללים חלים על כל אחת מהן. הקובץ הזה מסרב לטוקני האימון שלמעלה, מתיר את סוכני החיפוש והמשתמש, ושומר נתיב פרטי אחד סגור לכולם:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

שני פרטים חשובים. ראשית, קבוצה בשם מסוים לא יורשת מ-*, ולכן יש לחזור על נתיבים פרטיים בקבוצת החיפוש. שנית, אל תוסיפו את Googlebot או את Applebot לקבוצת האימון: הם סורקי החיפוש, וחסימה שלהם מוציאה אתכם מחיפוש Google ומתכונות החיפוש של Apple. שינויים לא נכנסים לתוקף מיד: OpenAI מציינת כ-24 שעות לחיפוש, ו-Perplexity מציינת עד 24 שעות.

כמה אתרים כבר עושים את זה?

פחות ממה שאפשר לצפות. קראנו את קובצי ה-robots.txt של 1,000 הדומיינים הפופולריים ביותר ברשימת Tranco ב-2026-11-12. מתוך 518 שהגישו robots.txt, 155 (29.9%) חוסמים את דף הבית עבור לפחות סורק אימון אחד של AI. רק 57 (11.0%) בוחרים בדרך הסלקטיבית: הם חוסמים סורקי אימון ומתירים כל סורק חיפוש ומשתמש של AI שבדקנו. בסך הכול 101 אתרים (19.5%) חוסמים לפחות סורק חיפוש או משתמש אחד של AI.

המספרים לפי סורק מראים את אותו פיצול. את GPTBot חוסמים 111 אתרים (21.4%) ואת OAI-SearchBot 58 (11.2%). את ClaudeBot חוסמים 110 (21.2%) ואת Claude-SearchBot 67 (12.9%). את Google-Extended חוסמים 94 (18.1%), את Googlebot 14 (2.7%). רק 18 אתרים (3.5%) משתמשים ב-Content-Signal.

המחקר בוחן רק כללי robots.txt לדף הבית. הוא לא מודד חסימות בחומת אש, והוא לא מראה מה כל אתר התכוון.

מה Content-Signal מוסיף?

Content Signals היא הרחבה של robots.txt ש-Cloudflare מפרסמת באתר contentsignals.org. שורת Content-Signal מצהירה איך מותר להשתמש בתוכן, בשלושה אותות: search (בניית אינדקס חיפוש והצגת קישורים וקטעים קצרים), ai-input (הזנת תוכן למודלי AI בזמן אמת, כמו עיגון או אחזור לתשובות יוצרות) ו-ai-train (אימון או כוונון עדין של מודלים).

שימו לב שההגדרה של search אינה כוללת סיכומי חיפוש שנוצרו על ידי AI. אם אתם רוצים להופיע בתשובות AI, הגדירו גם ai-input=yes, כמו בדוגמה למעלה. ה-robots.txt המנוהל של Cloudflare מוסיף כברירת מחדל search=yes, ai-train=no; אות שהשמטתם לא מתיר ולא מגביל את השימוש הזה.

אלה העדפות מוצהרות. האתר של Content Signals אומר שהן לא מונעות סריקה ברמה הטכנית, ו-Cloudflare מציינת שציות ל-robots.txt הוא וולונטרי. אף אחד מעמודי הסורקים של OpenAI, Anthropic, Google או Perplexity שבדקנו לא אומר אם הם קוראים את Content-Signal, ולכן התייחסו אליו כתוספת לקבוצות לפי סורק, לא כתחליף.

איפה הפיצול לא עובד בצורה נקייה?

כמה מקרים דורשים זהירות:

סקירות AI של Google (AI Overviews) ו-AI Mode נשענים על אינדקס החיפוש ש-Googlebot בונה, ולכן Google-Extended לא מוציא אתכם מהם. עמוד העזרה של Search Console מוסיף ש-Google-Extended מגביל אימון של המודלים שמאחורי תכונות ה-AI היוצרות של החיפוש, היקף שהתיעוד של הסורק שלה לא מזכיר. כיום Google מציעה הגדרה נפרדת ב-Search Console להוצאת אתר מ-AI Overviews ומ-AI Mode.
OpenAI אומרת שאם אתר מתיר גם את GPTBot וגם את OAI-SearchBot, היא עשויה להשתמש בתוצאות של סריקה אחת לשתי המטרות. חסימה של GPTBot היא מה שמאותת שאין להשתמש בתוכן לאימון.
ביטולי הסכמה פועלים קדימה. Anthropic, למשל, מתארת חסימה של ClaudeBot ככזו שמוציאה את התוכן העתידי של האתר ממערכי נתוני האימון.
מנגנוני הבאה שמופעלים על ידי משתמשים נמצאים באמצע. OpenAI ו-Perplexity אומרות ש-robots.txt אולי לא חל על ChatGPT-User ובדרך כלל לא חל על Perplexity-User.
חומות אש לא קוראות robots.txt. כלל רחב לחסימת בוטים יכול לעצור את סורקי החיפוש שהתרתם. אם אתם אוכפים את חסימת האימון בחומת האש, התאימו את סוכני האימון לפי שם ואמתו אותם לפי טווחי ה-IP שהם מפרסמים.

איך בודקים שהפיצול עובד?

קראו את ה-robots.txt כפי שכל סורק היה קורא אותו: מצאו את הקבוצה שמציינת אותו, חזרו ל-* רק אם אין כזאת, והחילו את הכלל התואם הארוך ביותר. אחר כך בקשו עמוד עם ה-user agent של כל סורק חיפוש וודאו שהוא מקבל 200 עם התוכן המלא, לא 403 או עמוד אתגר.

AISeeWhy עושה את שניהם עבור 14 סורקים, מקובצים כסורקי אימון, חיפוש ומשתמש, ומסמן את הטעות הנפוצה ביותר: חסימה של טוקן חיפוש כמו PerplexityBot או Claude-SearchBot מתוך כוונה לחסום אימון.

שאלות נפוצות

האם חסימת GPTBot תוציא את האתר שלי מתשובות ChatGPT?

לא. OpenAI אומרת ש-GPTBot מיועד לאימון ושכל הגדרה ב-robots.txt עצמאית. החיפוש של ChatGPT משתמש ב-OAI-SearchBot; כל עוד הוא מותר ולא חסום בחומת האש שלכם, העמודים שלכם נשארים כשירים.

האם חסימת Google-Extended מוציאה אותי מ-AI Overviews?

לא לפי התיעוד של Google. Google אומרת ש-Google-Extended לא משפיע על הכללה בחיפוש Google, ו-AI Overviews נשענים על אינדקס החיפוש. Google מציעה בקרה נפרדת ב-Search Console להוצאת אתר מ-AI Overviews ומ-AI Mode.

האם יש שורה אחת שחוסמת כל אימון של AI?

לא, אין שורה סטנדרטית כזאת. Content-Signal: ai-train=no מצהיר על ההעדפה עבור כל הסורקים, אבל האם סורק מכבד אותה תלוי במפעיל. קבוצות בשם לכל טוקן אימון הן הדרך המתועדת.

האם לחסום את Perplexity כדי לעצור אימון של AI?

Perplexity אומרת שהסוכנים שלה לא משמשים לאיסוף נתוני אימון. חסימה של PerplexityBot מצמצמת את הנראות שלכם בתוצאות החיפוש של Perplexity בלי לשרת ביטול הסכמה לאימון.