מה זה Content-Signal ב-robots.txt, והאם מישהו מכבד אותו?
Content-Signal היא שורה אופציונלית ב-robots.txt, שפרסמה Cloudflare, שמצהירה איך מותר להשתמש בתוכן שלכם אחרי שהובא: search לתוצאות חיפוש, ai-input להזנה לתשובות AI ו-ai-train לאימון מודלים, כל אחד מוגדר ל-yes או ל-no, כמו ב-Content-Signal: search=yes, ai-input=yes, ai-train=no. היא מבטאת העדפה ולא חוסמת דבר. נכון לנובמבר 2026, אף אחד מדפי הסורקים של OpenAI, Anthropic, Google או Perplexity לא אומר שהוא קורא אותה, ואילו חברות ה-AI הגדולות תמכו במקומה בטוקן אחר, שמיועד לאימון בלבד.
robots.txt נבנה כדי לומר לאן סורק רשאי ללכת, לא מה מותר לעשות עם מה שהוא קורא. ברגע שאותה הבאה יכלה להזין אינדקס חיפוש, תשובת AI בזמן אמת ומאגר אימון, הפער הזה נעשה חשוב. Cloudflare פרסמה את Content Signals Policy ב-24 בספטמבר 2025 ברישיון CC0 כדי למלא אותו, ואמרה אז שהלקוחות שלה כבר הפעילו robots.txt מנוהל ליותר מ-3.8 מיליון דומיינים, תכונה שמוסיפה עכשיו את השורה בשבילם.
בעמוד זה
מה המשמעות של search, ai-input ו-ai-train?
המדיניות מגדירה שלושה אותות. הניסוח שלמטה הולך לפי contentsignals.org ולפי נוסח המדיניות ש-Cloudflare מפרסמת:
search: בניית אינדקס חיפוש ומתן תוצאות חיפוש, למשל החזרת קישורים וקטעים קצרים מהעמודים שלכם. ההגדרה אומרת ש-search לא כולל סיכומי חיפוש שנוצרו ב-AI.ai-input: הזנת תוכן למודל AI אחד או יותר, למשל retrieval augmented generation, עיגון (grounding) או שימוש אחר בזמן אמת בתוכן לתשובות חיפוש של AI גנרטיבי.ai-train: אימון או כוונון עדין (fine-tuning) של מודלי AI.
כל אות מקבל yes או no. במונחי המדיניות, yes אומר שמותר לאסוף את התוכן לשימוש הזה, no אומר שאסור, ואות שהשמטתם לא מתיר ולא מגביל את השימוש. ברירת המחדל של Cloudflare מגדירה את search ואת ai-train ומשאירה את ai-input לא מוגדר, כי לדבריה היא לא יודעת מה ההעדפה של כל לקוח לגבי האות הזה ולא רוצה לנחש.
ההבחנה בין search לבין ai-input היא זו שרוב האנשים מפספסים. אם אתם רוצים שהעמודים שלכם ישמשו בתשובות AI, search=yes לבדו לא אומר את זה. ai-input=yes כן.
איך כותבים שורת Content-Signal ב-robots.txt?
Content-Signal נכנסת בתוך קבוצת user agent, ליד Allow ו-Disallow, והאותות מופרדים בפסיקים. contentsignals.org מראה גם צורה שמתחילה בנתיב, כך שחלק אחד באתר יכול לשאת אותות שונים משאר האתר:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow ו-Disallow ממשיכים לעבוד בדיוק כמו קודם, ו-Content-Signal לא מחליפה אותם. RFC 9309 מאפשר לסורקים לפרש רשומות שאינן חלק מהפרוטוקול, כל עוד זה לא מפריע לכללים המוגדרים, כך שמפענח שלא מכיר את השורה אמור לדלג עליה.
כדאי להכיר שני פרטים. ראשית, השורה שייכת לקבוצה. לפי RFC 9309 סורק שיש לו קבוצה בשמו מתעלם לגמרי מהקבוצה User-agent: *, ודפי Content Signals לא מתארים חריג כלשהו לשורה הזאת. אם אתם נותנים ל-Googlebot או ל-OAI-SearchBot קבוצה משלהם, חזרו שם על שורת Content-Signal, כמו ש-contentsignals.org עושה בדוגמה שלו לכל סורק. שנית, Google Search Console עשוי לדווח Syntax not understood על השורה. התיעוד של Cloudflare מזכיר זאת ואומר שלא נצפתה השפעה על סריקה או על SEO. תיעוד ה-robots.txt של Google מונה רק את user-agent, allow, disallow ו-sitemap כשדות נתמכים.
מה אומר נוסח המדיניות שמעל השורה?
Content Signals Policy היא יותר משורה אחת. המחולל של Cloudflare ב-contentsignals.org וה-robots.txt המנוהל שלה מציבים שניהם גוש הערות מעל האותות. הוא נפתח באמירה שכתנאי לגישה לאתר אתם מסכימים לכבד את אותות התוכן, ואז מגדיר את שלושת האותות ואת המקרים yes, no ואות חסר.
הוא מסתיים במשפט באותיות גדולות שקובע שכל הגבלה שמובעת באמצעות אותות תוכן היא שמירת זכויות מפורשת לפי סעיף 4 של הדירקטיבה האירופית 2019/790 בדבר זכויות יוצרים בשוק הדיגיטלי האחיד. ההודעה של Cloudflare מוסיפה שלאותות עשוי להיות משקל משפטי בתחומי שיפוט שונים.
contentsignals.org עצמו מזהיר שבתי משפט ורגולטורים עשויים להסיק שקובצי robots.txt לא יוצרים חובות משפטיות שניתן לאכוף, וממליץ להתייעץ עם עורך דין. התייחסו לגוש ההערות כהצהרה כתובה על העמדה שלכם, לא כחוזה.
האם Content-Signal כבר נמצא ב-robots.txt שלי?
אם האתר שלכם מאחורי Cloudflare, ייתכן שכן, באחת משתי דרכים:
- robots.txt מנוהל. כש-Bot Preference Sync מופעל ולפחות מדיניות AI Crawler and Agent access אחת מוגדרת ל-Block, ל-Block on pages with ads או, עבור Training, ל-Disallow, Cloudflare מוסיפה גוש מנוהל בראש ה-robots.txt שהשרת שלכם שולח. הוא כולל את נוסח המדיניות,
Content-signal: search=yes, ai-train=no, use=referenceתחתUser-Agent: *, ו-Disallow: /עבורAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotו-meta-externalagent. - אין robots.txt בכלל. Cloudflare אומרת שדומיינים במסלול Free שאין להם robots.txt משלהם ושלא משתמשים בתכונה המנוהלת מציגים את Content Signals Policy כשסורק מבקש
/robots.txt. הגרסה הזאת כוללת את ההגדרות אבל לא מצהירה על העדפה.
החלק use=reference חדש. Cloudflare מתארת את use כשדה רביעי אופציונלי שהיא בודקת, עם שלושה ערכים: immediate (אינטראקציה, בלי לשמור או לעשות שימוש חוזר בשום דבר), reference (אינדוקס, ציטוט קטע וקישור חזרה) ו-full (סיכום ושכפול). הוא לא אחד משלושת האותות המקוריים, ואף אחד מתיעודי הסורקים שבדקנו לא מזכיר אותו.
מכיוון ש-Cloudflare מוסיפה את השורות האלה בקצה, הקובץ במאגר הקוד יכול להיראות ללא שינוי בזמן שהקובץ שהסורקים מקבלים שונה. הביאו את https://yourdomain.com/robots.txt החי לפני שאתם מוסיפים שורה משלכם, כדי שהתגובה לא תצהיר על שתי מדיניויות שונות.
האימוץ עדיין נמוך בקרב אתרים גדולים. במחקר שלנו מנובמבר 2026 על 1,000 הדומיינים הפופולריים ביותר, 18 מתוך 518 האתרים שהגישו robots.txt (3.5%) השתמשו ב-Content-Signal.
האם סורקי AI מכבדים את Content-Signal?
לא לפי שום תיעוד שהצלחנו למצוא. ב-17 בנובמבר 2026 בדקנו את דפי הסורקים של OpenAI, Anthropic, Google ו-Perplexity, ואף אחד מהם לא מזכיר את Content-Signal. Cloudflare עצמה מתארת את האותות כהעדפות, לא כאמצעי נגד טכני ל-scraping, ואומרת שחברות מסוימות עשויות פשוט להתעלם מהם.
מה שחברות ה-AI תיעדו במקום זאת הוא מנגנון נפרד שמבוסס על עבודת קבוצת העבודה AI Preferences ב-IETF: טוקן מדיניות, __usage_ai-training, שנכתב כקבוצת User-Agent רגילה. הוא מכסה רק אימון, וה-Internet-Draft שמגדיר אותו אומר שקבוצת User-Agent: * לא נחשבת לשימוש בטוקן:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ התמיכה לא אחידה וחלקה עוד לפנינו. Anthropic אומרת שהיא מזהה אות אימון כללי קריא-מכונה מאז 30 באוקטובר 2026, שהיא מטמיעה אותו בהדרגה, ושכלל שמציין את ClaudeBot גובר עליו. Microsoft מתעדת את הטוקן __usage_ai-training עבור Bing, וההעדפות החדשות שלה נכנסות לתוקף ככל שהעמודים נסרקים החל מ-1 בפברואר 2027. Google אומרת שהיא שואפת לתמוך בבקרה המשותפת ב-2027, ומתכננת להתייחס לסירוב לאימון דרכה כאל חסימה של Google-Extended כשהטוקן הזה לא מצוין. OpenAI פרסמה באותו יום הודעה שהיא תכבד את האות המשותף, בלי תאריך.
כך ש-ai-train=no ו-__usage_ai-training אומרים דברים דומים, אבל רק לשני יש תמיכה מתועדת של חברות AI. הטוקנים של כל סורק, כמו GPTBot ו-ClaudeBot, נשארים הבקרות שכל יצרן מיישם היום.
האם להוסיף Content-Signal ל-robots.txt שלי?
הוסיפו אותה אם אתם רוצים שמדיניות השימוש שלכם תהיה כתובה במקום אחד שמכונות ואנשים יכולים לקרוא. היא גם מצהירה על העדפת ai-input לכל הסורקים בשורה אחת, דבר שהטוקנים של היצרנים יכולים לבטא רק סורק אחר סורק. היא עולה שורה אחת, ומפענחים שלא מכירים אותה מדלגים עליה.
אל תסמכו רק עליה. כדי להרחיק את התוכן מאימון, חסמו גם את טוקני האימון המתועדים ושקלו את טוקן האימון המשותף; המדריך שלנו לחסימת אימון AI תוך הישארות בחיפוש AI מפרט את הטוקנים לפי יצרן. לכל מה שמתעלם מ-robots.txt, רק כלל בחומת האש אוכף חסימה.
לבסוף, בדקו שהשורה מתיישבת עם שאר הקובץ. ai-input=no ליד קבוצת Allow עבור OAI-SearchBot או PerplexityBot שולח מסר סותר: אתם מכניסים את סורקי החיפוש של ה-AI ובאותה נשימה אומרים שהתשובות שלהם לא רשאיות להשתמש במה שהם מביאים.
איך לבדוק מה ה-robots.txt שלי אומר לכל סורק?
בודק ה-robots.txt החינמי של AISeeWhy מקבל כתובת של עמוד או robots.txt מודבק ומראה, לכל סורק AI וחיפוש, אם מותר להביא את העמוד, כך שאפשר לוודא שהקובץ החי, כולל כל מה ש-Cloudflare הוסיפה בראשו, אומר את מה שהתכוונתם. מחולל ה-robots.txt החינמי כותב קובץ לפי הבחירות שלכם.
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
האם Content-Signal הוא חלק מתקן robots.txt?
לא. RFC 9309 מגדיר את User-agent, Allow ו-Disallow ומאפשר לסורקים לפרש רשומות אחרות. Content-Signal מגיע מ-Content Signals Policy של Cloudflare, שפורסמה ברישיון CC0. בנפרד, קבוצת העבודה AI Preferences ב-IETF מנסחת כלל Content-Usage משלה ל-robots.txt, שעדיין הוא Internet-Draft ולא תקן.
האם ai-train=no עוצר את GPTBot או את ClaudeBot?
לא לפי מה שהיצרנים מתעדים. OpenAI ו-Anthropic מתארות שליטה באמצעות כללי robots.txt שמציינים את GPTBot ואת ClaudeBot, ואף אחד מדפי הסורקים לא מזכיר את Content-Signal. כדי לסרב לאימון אצל כל אחת מהן, חסמו את הטוקן בשמו.
מה ההבדל בין Content-Signal לבין __usage_ai-training?
Content-Signal היא שורה בתוך קבוצה ומכסה חיפוש, קלט ל-AI ואימון. __usage_ai-training הוא טוקן מדיניות שמשמש כקבוצת User-Agent נפרדת ומכסה רק אימון. Anthropic, Microsoft, Google ו-OpenAI פרסמו הצהרות על אות האימון המשותף; אף אחת מהן לא מתעדת את Content-Signal.
למה Google Search Console מציג Syntax not understood?
תיעוד ה-robots.txt של Google תומך רק ב-user-agent, allow, disallow ו-sitemap, כך ששורות אחרות עלולות להיות מסומנות. Cloudflare אומרת שלא נצפתה השפעה של הדיווחים האלה על קצב הסריקה או על SEO.
מה המשמעות של use=reference?
זה שדה רביעי ש-Cloudflare בודקת. reference פירושו אינדוקס, ציטוט קטע וקישור חזרה. Cloudflare מוסיפה אותו לקובצי robots.txt מנוהלים, ואף תיעוד סורקים שבדקנו לא מזכיר אותו.
מקורות
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: דוח גישת סורקי AI, 2026-11