Что такое Content-Signal в robots.txt и соблюдает ли его кто-нибудь?
Content-Signal — необязательная строка robots.txt, предложенная Cloudflare, которая указывает, как можно использовать ваш контент после загрузки: search — для результатов поиска, ai-input — для подачи в AI-ответы и ai-train — для обучения моделей, каждый со значением yes или no, например Content-Signal: search=yes, ai-input=yes, ai-train=no. Она выражает пожелание и ничего не блокирует. На ноябрь 2026 года ни на одной странице о краулерах OpenAI, Anthropic, Google или Perplexity не сказано, что они её читают, а крупные AI-компании поддержали другой токен — только для обучения.
robots.txt создавался, чтобы говорить, куда краулеру можно заходить, а не что можно делать с прочитанным. Когда одна и та же загрузка стала питать поисковый индекс, AI-ответ в реальном времени и обучающий набор, этот пробел стал важен. Чтобы его закрыть, Cloudflare опубликовала Content Signals Policy 24 сентября 2025 года под лицензией CC0 и сообщила тогда, что её клиенты уже включили управляемый robots.txt более чем для 3,8 млн доменов — функцию, которая теперь добавляет эту строку за них.
На этой странице
- Что означают search, ai-input и ai-train?
- Как записать строку Content-Signal в robots.txt?
- Что говорит текст политики над этой строкой?
- Есть ли Content-Signal уже в моём robots.txt?
- Соблюдают ли AI-краулеры Content-Signal?
- Стоит ли добавлять Content-Signal в robots.txt?
- Как проверить, что мой robots.txt говорит каждому краулеру?
Что означают search, ai-input и ai-train?
Политика определяет три сигнала. Формулировки ниже следуют contentsignals.org и тексту политики, который публикует Cloudflare:
search: построение поискового индекса и выдача результатов поиска, например ссылок и коротких фрагментов ваших страниц. В определении сказано, что search не включает поисковые сводки, созданные AI.ai-input: передача контента в одну или несколько AI-моделей, например для генерации с дополненной выборкой (RAG), grounding или другого использования контента в реальном времени для ответов генеративного AI-поиска.ai-train: обучение или дообучение (fine-tuning) AI-моделей.
Каждый сигнал принимает yes или no. В терминах политики yes означает, что контент можно собирать для этой цели, no — что нельзя, а пропущенный сигнал это использование не разрешает и не ограничивает. По умолчанию Cloudflare задаёт search и ai-train и оставляет ai-input незаданным, потому что, по её словам, не знает предпочтений каждого клиента по этому сигналу и не хочет угадывать.
Разницу между search и ai-input упускают чаще всего. Если вы хотите, чтобы ваши страницы использовались в AI-ответах, одного search=yes для этого недостаточно. Об этом говорит ai-input=yes.
Как записать строку Content-Signal в robots.txt?
Content-Signal ставится внутри группы user agent, рядом с Allow и Disallow, сигналы разделяются запятыми. На contentsignals.org показана и форма, которая начинается с пути, чтобы у раздела сайта были свои сигналы, отличные от остального сайта:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow и Disallow работают точно так же, как раньше, и Content-Signal их не заменяет. RFC 9309 разрешает краулерам интерпретировать записи, не входящие в протокол, если это не мешает определённым в нём правилам, так что парсер, который не знает эту строку, должен её пропустить.
Важны две детали. Первая: строка относится к группе. По RFC 9309 краулер, для которого есть группа с его именем, полностью игнорирует группу User-agent: *, а на страницах Content Signals никаких исключений для этой строки не описано. Если вы выделяете Googlebot или OAI-SearchBot отдельную группу, повторите в ней строку Content-Signal, как это сделано в примере для отдельных краулеров на contentsignals.org. Вторая: Google Search Console может сообщать для этой строки Syntax not understood. В документации Cloudflare это упомянуто, и там сказано, что влияния на сканирование или SEO не замечено. В документации Google о robots.txt поддерживаемыми полями названы только user-agent, allow, disallow и sitemap.
Что говорит текст политики над этой строкой?
Content Signals Policy — это больше, чем одна строка. Генератор Cloudflare на contentsignals.org и управляемый robots.txt ставят над сигналами блок комментариев. Он начинается с того, что, получая доступ к сайту, вы соглашаетесь соблюдать сигналы контента, а затем определяет три сигнала и случаи yes, no и отсутствия значения.
Заканчивается он предложением заглавными буквами о том, что любые ограничения, выраженные сигналами контента, являются явными оговорками о правах по статье 4 Директивы ЕС 2019/790 об авторском праве на едином цифровом рынке. В анонсе Cloudflare добавлено, что сигналы могут иметь юридический вес в разных юрисдикциях.
Сам contentsignals.org предупреждает, что суды и регуляторы могут решить, что файлы robots.txt не создают юридически обязательных обязательств, и советует проконсультироваться с юристом. Относитесь к блоку комментариев как к письменному изложению вашей позиции, а не как к договору.
Есть ли Content-Signal уже в моём robots.txt?
Если сайт работает через Cloudflare, может быть, причём одним из двух способов:
- Управляемый robots.txt. Когда включён Bot Preference Sync и хотя бы одна AI Crawler and Agent access policy установлена в Block, Block on pages with ads или, для Training, Disallow, Cloudflare ставит управляемый блок перед robots.txt, который отдаёт ваш сервер. В нём есть текст политики,
Content-signal: search=yes, ai-train=no, use=referenceподUser-Agent: *иDisallow: /дляAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotиmeta-externalagent. - robots.txt вообще нет. Cloudflare пишет, что домены на тарифе Free, у которых нет своего robots.txt и которые не используют управляемую функцию, показывают Content Signals Policy, когда краулер запрашивает
/robots.txt. В этой версии есть определения, но не указано никаких предпочтений.
Часть use=reference появилась недавно. Cloudflare описывает use как необязательное четвёртое поле, которое она тестирует, с тремя значениями: immediate (взаимодействовать, но ничего не хранить и не использовать повторно), reference (индексировать, цитировать фрагменты и ставить обратную ссылку) и full (пересказывать и воспроизводить). Это не один из трёх исходных сигналов, и ни в одной документации краулеров, которую мы проверили, он не упоминается.
Поскольку Cloudflare добавляет эти строки на edge, файл в репозитории может выглядеть неизменным, а файл, который получают краулеры, — отличаться. Загрузите действующий https://yourdomain.com/robots.txt, прежде чем добавлять свою строку, чтобы в ответе не оказалось двух разных политик.
Среди крупных сайтов распространённость пока низкая. В нашем ноябрьском исследовании 2026 года 1000 самых популярных доменов Content-Signal использовали 18 из 518 сайтов, отдававших robots.txt (3,5%).
Соблюдают ли AI-краулеры Content-Signal?
Ни в одной документации, которую мы нашли, об этом не сказано. 17 ноября 2026 года мы проверили страницы о краулерах OpenAI, Anthropic, Google и Perplexity, и ни на одной не упоминается Content-Signal. Сама Cloudflare называет сигналы пожеланиями, а не техническими мерами против скрапинга, и пишет, что некоторые компании могут их просто игнорировать.
Вместо этого AI-компании описали отдельный механизм, основанный на работе рабочей группы IETF AI Preferences: токен политики __usage_ai-training, который записывается как обычная группа User-Agent. Он касается только обучения, а в Internet-Draft, который его определяет, сказано, что группа User-Agent: * не считается использованием этого токена:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Поддержка неравномерная и отчасти ещё впереди. Anthropic пишет, что с 30 октября 2026 года распознаёт общий машиночитаемый сигнал об обучении, внедряет его постепенно и что правило с именем ClaudeBot имеет приоритет над ним. Microsoft описывает токен __usage_ai-training для Bing: новые предпочтения начнут действовать по мере сканирования страниц начиная с 1 февраля 2027 года. Google пишет, что собирается поддержать общий механизм в 2027 году и планирует считать отказ от обучения через него запретом для Google-Extended, если этот токен не указан. OpenAI в тот же день опубликовала анонс о том, что будет соблюдать общий сигнал, без даты.
Так что ai-train=no и __usage_ai-training говорят похожее, но задокументированную поддержку AI-компаний имеет только второй. Токены отдельных краулеров, такие как GPTBot и ClaudeBot, остаются теми настройками, которые каждый поставщик применяет сегодня.
Стоит ли добавлять Content-Signal в robots.txt?
Добавьте, если хотите, чтобы ваша политика использования была записана в одном месте, понятном и машинам, и людям. Строка также задаёт предпочтение ai-input для всех краулеров сразу, а токены поставщиков позволяют выразить его только краулер за краулером. Это стоит одну строку, а парсеры, которые её не знают, её пропускают.
Не полагайтесь только на неё. Чтобы не допустить контент в обучение, также запретите задокументированные токены обучения и подумайте об общем токене обучения; в нашем руководстве о том, как запретить обучение AI и остаться в AI-поиске, токены перечислены по поставщикам. Для всего, что игнорирует robots.txt, блокировку обеспечит только правило файрвола.
И наконец, проверьте, что строка согласуется с остальным файлом. ai-input=no рядом с группой Allow для OAI-SearchBot или PerplexityBot даёт противоречивый сигнал: вы пускаете поисковые AI-краулеры и одновременно говорите, что их ответы не могут использовать загруженное.
Как проверить, что мой robots.txt говорит каждому краулеру?
Бесплатная проверка robots.txt в AISeeWhy принимает адрес страницы или вставленный текст robots.txt и показывает для каждого AI- и поискового краулера, можно ли ему загружать эту страницу, чтобы вы убедились, что действующий файл, включая всё, что добавила перед ним Cloudflare, говорит то, что вы задумали. Бесплатный генератор robots.txt составляет файл по вашему выбору.
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Краулеры в этой статье
Частые вопросы
Входит ли Content-Signal в стандарт robots.txt?
Нет. RFC 9309 определяет User-agent, Allow и Disallow и разрешает краулерам интерпретировать другие записи. Content-Signal происходит из Content Signals Policy от Cloudflare, выпущенной под лицензией CC0. Отдельно рабочая группа IETF AI Preferences готовит собственное правило Content-Usage для robots.txt, которое пока остаётся Internet-Draft, а не стандартом.
Останавливает ли ai-train=no GPTBot или ClaudeBot?
Судя по документации поставщиков, нет. OpenAI и Anthropic описывают управление через правила robots.txt с именами GPTBot и ClaudeBot, и ни на одной странице этих краулеров Content-Signal не упоминается. Чтобы отказаться от обучения у любого из них, запретите токен по имени.
Чем Content-Signal отличается от __usage_ai-training?
Content-Signal — строка внутри группы, она охватывает поиск, использование в AI и обучение. __usage_ai-training — токен политики, который используется как отдельная группа User-Agent и охватывает только обучение. Anthropic, Microsoft, Google и OpenAI опубликовали заявления об общем сигнале обучения; ни одна из них не описывает Content-Signal.
Почему Google Search Console пишет Syntax not understood?
Документация Google о robots.txt поддерживает только user-agent, allow, disallow и sitemap, поэтому другие строки могут помечаться. Cloudflare пишет, что не заметила влияния этих сообщений на частоту сканирования или SEO.
Что означает use=reference?
Это четвёртое поле, которое тестирует Cloudflare. reference означает индексирование, цитирование фрагментов и обратную ссылку. Cloudflare добавляет его в управляемые файлы robots.txt, и ни одна документация краулеров, которую мы проверили, его не упоминает.
Источники
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: отчёт о доступе AI-краулеров, 2026-11