Що таке Content-Signal у robots.txt і чи хтось його дотримується?

Опубліковано

Коротка відповідь

Content-Signal — необов’язковий рядок robots.txt, опублікований Cloudflare, який указує, як можна використовувати ваш контент після завантаження: search — для результатів пошуку, ai-input — для подання в AI-відповіді, ai-train — для навчання моделей, кожен зі значенням yes або no, як у Content-Signal: search=yes, ai-input=yes, ai-train=no. Він висловлює побажання й нічого не блокує. Станом на листопад 2026 року жодна зі сторінок про краулери OpenAI, Anthropic, Google чи Perplexity не каже, що його читає, а великі AI-компанії натомість підтримали інший токен, лише для навчання.

robots.txt створили, щоб указувати, куди краулер може заходити, а не що можна робити з прочитаним. Коли одне й те саме завантаження стало живити пошуковий індекс, AI-відповідь у реальному часі й набір даних для навчання, ця прогалина стала важливою. Щоб її заповнити, Cloudflare 24 вересня 2025 року опублікував Content Signals Policy за ліцензією CC0 і тоді ж повідомив, що його клієнти вже ввімкнули керований robots.txt для понад 3,8 млн доменів — функцію, яка тепер додає цей рядок за них.

На цій сторінці
  1. Що означають search, ai-input і ai-train?
  2. Як записати рядок Content-Signal у robots.txt?
  3. Що каже текст політики над рядком?
  4. Чи є Content-Signal уже в моєму robots.txt?
  5. Чи дотримуються AI-краулери Content-Signal?
  6. Чи варто додавати Content-Signal у свій robots.txt?
  7. Як перевірити, що мій robots.txt каже кожному краулеру?

Що означають search, ai-input і ai-train?

Політика визначає три сигнали. Формулювання нижче відповідають contentsignals.org і тексту політики, який публікує Cloudflare:

Кожен сигнал приймає yes або no. За термінами політики yes означає, що контент можна збирати для цього використання, no — що не можна, а пропущений сигнал нічого не дозволяє й не обмежує. Стандартне налаштування Cloudflare задає search і ai-train, а ai-input лишає незаданим, бо, за словами компанії, вона не знає побажань кожного клієнта щодо цього сигналу і не хоче вгадувати.

Різницю між search і ai-input пропускають найчастіше. Якщо ви хочете, щоб ваші сторінки використовували в AI-відповідях, search=yes сам по собі цього не каже. Це каже ai-input=yes.

Як записати рядок Content-Signal у robots.txt?

Content-Signal розміщують усередині групи user agent, поруч з Allow і Disallow, а сигнали розділяють комами. На contentsignals.org також показано форму, що починається зі шляху, тож один розділ сайту може мати інші сигнали, ніж решта:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow і Disallow працюють точно так само, як і раніше, і Content-Signal їх не замінює. RFC 9309 дозволяє краулерам інтерпретувати записи, що не входять до протоколу, якщо це не заважає визначеним правилам, тож парсер, який не знає цього рядка, має його пропустити.

Варто знати дві деталі. По-перше, рядок належить до групи. За RFC 9309 краулер, для якого є група з його назвою, повністю ігнорує групу User-agent: *, а сторінки Content Signals не описують для цього рядка жодного винятку. Якщо ви даєте Googlebot чи OAI-SearchBot окрему групу, повторіть там рядок Content-Signal, як це робить contentsignals.org у прикладі для окремого краулера. По-друге, Google Search Console може показувати для цього рядка Syntax not understood. У документації Cloudflare це згадано й сказано, що жодного впливу на сканування чи SEO не помічено. У документації Google про robots.txt підтримуваними полями названо лише user-agent, allow, disallow і sitemap.

Що каже текст політики над рядком?

Content Signals Policy — це більше, ніж один рядок. Генератор Cloudflare на contentsignals.org і керований robots.txt вставляють над сигналами блок коментарів. Він починається з того, що, отримуючи доступ до сайту, ви погоджуєтеся дотримуватися content signals, потім визначає три сигнали та випадки yes, no і відсутнього значення.

Завершується він реченням великими літерами про те, що будь-які обмеження, висловлені через content signals, є явним застереженням прав відповідно до статті 4 Директиви ЄС 2019/790 про авторське право на єдиному цифровому ринку. В оголошенні Cloudflare додано, що сигнали можуть мати юридичну вагу в різних юрисдикціях.

Сам contentsignals.org попереджає, що суди й регулятори можуть дійти висновку, що файли robots.txt не створюють юридично обов’язкових зобов’язань, і радить проконсультуватися з юристом. Сприймайте блок коментарів як письмову заяву про вашу позицію, а не як договір.

Чи є Content-Signal уже в моєму robots.txt?

Якщо ваш сайт працює через Cloudflare, він може там бути, одним із двох способів:

Частина use=reference з’явилася нещодавно. Cloudflare описує use як необов’язкове четверте поле, яке компанія тестує, з трьома значеннями: immediate (взаємодіяти, але нічого не зберігати й не використовувати повторно), reference (індексувати, цитувати уривки й посилатися назад) і full (підсумовувати й відтворювати). Це не один із трьох початкових сигналів, і жодна з документацій про краулери, які ми перевірили, його не згадує.

Оскільки Cloudflare додає ці рядки на межі мережі, файл у вашому репозиторії може виглядати незмінним, тоді як файл, який отримують краулери, інший. Перш ніж додавати власний рядок, завантажте живий https://yourdomain.com/robots.txt, щоб відповідь не висловлювала двох різних політик.

Серед великих сайтів поширення поки що низьке. У нашому листопадовому дослідженні 2026 року 1000 найпопулярніших доменів 18 із 518 сайтів, що віддавали robots.txt (3,5 %), використовували Content-Signal.

Чи дотримуються AI-краулери Content-Signal?

Не за жодною документацією, яку ми змогли знайти. 17 листопада 2026 року ми перевірили сторінки про краулери OpenAI, Anthropic, Google і Perplexity, і жодна з них не згадує Content-Signal. Сам Cloudflare описує сигнали як побажання, а не технічні засоби проти скрейпінгу, і зазначає, що деякі компанії можуть їх просто ігнорувати.

Натомість AI-компанії задокументували окремий механізм, що спирається на роботу робочої групи IETF AI Preferences: токен політики __usage_ai-training, записаний як звичайна група User-Agent. Він стосується лише навчання, а в Internet-Draft, що його визначає, сказано, що група User-Agent: * не вважається використанням токена:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Підтримка нерівномірна, і частково вона ще попереду. Anthropic зазначає, що з 30 жовтня 2026 року розпізнає загальний машиночитний сигнал щодо навчання, поступово його впроваджує і що правило з назвою ClaudeBot має пріоритет над ним. Microsoft документує токен __usage_ai-training для Bing; нові побажання набувають чинності в міру сканування сторінок з 1 лютого 2027 року. Google заявляє, що планує підтримати спільний механізм у 2027 році і розглядати відмову від навчання через нього як заборону для Google-Extended, коли цей токен не названо. OpenAI того ж дня опублікувала оголошення, що враховуватиме спільний сигнал, але без дати.

Отже, ai-train=no і __usage_ai-training кажуть схоже, але задокументовану підтримку від AI-компаній має лише другий. Токени окремих краулерів, як-от GPTBot і ClaudeBot, лишаються тими елементами керування, які кожен постачальник застосовує вже сьогодні.

Чи варто додавати Content-Signal у свій robots.txt?

Додайте, якщо хочете, щоб ваша політика використання була записана в одному місці, яке можуть прочитати і машини, і люди. Він також одним рядком указує побажання щодо ai-input для всіх краулерів, тоді як токени постачальників можуть висловити це лише для кожного краулера окремо. Це коштує одного рядка, а парсери, які його не знають, просто його пропускають.

Не покладайтеся лише на нього. Щоб не допустити контент до навчання, також забороніть задокументовані токени навчання й розгляньте спільний токен навчання; наш посібник про те, як заблокувати AI-навчання й лишитися в AI-пошуку, перелічує токени для кожного постачальника. Для всього, що ігнорує robots.txt, справді заблокувати доступ може лише правило файрвола.

Нарешті, перевірте, чи узгоджується рядок з рештою файлу. ai-input=no поруч із групою Allow для OAI-SearchBot чи PerplexityBot дає суперечливі сигнали: ви пускаєте краулери AI-пошуку, але водночас кажете, що їхні відповіді не можуть використовувати завантажене.

Як перевірити, що мій robots.txt каже кожному краулеру?

Безкоштовна перевірка robots.txt від AISeeWhy приймає адресу сторінки або вставлений robots.txt і показує для кожного AI- та пошукового краулера, чи можна завантажити цю сторінку, тож ви можете переконатися, що живий файл, включно з усім, що Cloudflare додав на початок, каже саме те, що ви мали на увазі. Безкоштовний генератор robots.txt складає файл за вашим вибором.

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Чи входить Content-Signal до стандарту robots.txt?

Ні. RFC 9309 визначає User-agent, Allow і Disallow і дозволяє краулерам інтерпретувати інші записи. Content-Signal походить із Content Signals Policy від Cloudflare, випущеної за ліцензією CC0. Окремо робоча група IETF AI Preferences розробляє власне правило Content-Usage для robots.txt, яке поки що є Internet-Draft, а не стандартом.

Чи зупиняє ai-train=no GPTBot або ClaudeBot?

Наскільки це документують постачальники, ні. OpenAI та Anthropic описують керування через правила robots.txt, що називають GPTBot і ClaudeBot, і жодна зі сторінок про ці краулери не згадує Content-Signal. Щоб відмовитися від навчання в будь-якої з компаній, забороніть токен за назвою.

Яка різниця між Content-Signal і __usage_ai-training?

Content-Signal — рядок усередині групи, що охоплює пошук, подання в AI і навчання. __usage_ai-training — токен політики, який використовується як окрема група User-Agent і охоплює лише навчання. Anthropic, Microsoft, Google і OpenAI опублікували заяви про спільний сигнал щодо навчання; жодна з них не документує Content-Signal.

Чому Google Search Console пише Syntax not understood?

Документація Google про robots.txt підтримує лише user-agent, allow, disallow і sitemap, тож інші рядки можуть позначатися. Cloudflare зазначає, що не помітив жодного впливу цих повідомлень на частоту сканування чи SEO.

Що означає use=reference?

Це четверте поле, яке тестує Cloudflare. reference означає індексувати, цитувати уривки й посилатися назад. Cloudflare додає його в керовані файли robots.txt, і жодна документація про краулери, яку ми перевірили, його не згадує.

Джерела

Інші статті