Как закрыть сайт от обучения ИИ, но остаться в ответах AI-поиска

Q: Уберёт ли блокировка GPTBot мой сайт из ответов ChatGPT?

Нет. OpenAI сообщает, что GPTBot предназначен для обучения, а каждая настройка robots.txt независима. Поиск ChatGPT использует OAI-SearchBot; пока он разрешён и не заблокирован вашим файрволом, ваши страницы остаются доступными для показа.

Q: Убирает ли блокировка Google-Extended из AI Overviews?

По документации Google, нет. Google сообщает, что Google-Extended не влияет на включение в Google Поиск, а AI Overviews опираются на индекс Поиска. Google предлагает отдельный элемент управления в Search Console, исключающий сайт из AI Overviews и AI Mode.

Q: Есть ли одна строка, которая блокирует любое обучение ИИ?

Стандартной строки нет. Content-Signal: ai-train=no выражает предпочтение для всех краулеров, но соблюдение зависит от оператора краулера. Документированный способ — именованные группы для каждого токена обучения.

Опубликовано 2026-11-12

Короткий ответ

Большинство разработчиков ИИ используют разные токены robots.txt для обучения моделей и для поиска. Запретите токены для обучения, такие как GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent и CCBot, и разрешите токены поиска и пользовательских запросов, такие как OAI-SearchBot, Claude-SearchBot и PerplexityBot. Добавьте строку Content-Signal, чтобы выразить то же предпочтение словами.

Многие владельцы сайтов хотят сразу двух вещей: чтобы их контент не использовался для обучения моделей ИИ, и чтобы ИИ-ассистенты находили, цитировали и приводили ссылки на их страницы. Поскольку крупные разработчики теперь разделяют эти задачи между разными краулерами или токенами, robots.txt способен выразить оба решения. Подвох в том, что названия у разных разработчиков отличаются, несколько разработчиков в эту схему не укладываются, а одна неверная строка может убрать вас из ответов ИИ, а не из обучающих данных.

На этой странице

Чем краулер для обучения отличается от поискового краулера
Какие токены отвечают за обучение, а какие за поиск
Как выглядит такой robots.txt
Сколько сайтов уже так делают
Что добавляет Content-Signal
Где такое разделение работает не полностью
Как проверить, что разделение работает

Чем краулер для обучения отличается от поискового краулера

Краулер для обучения собирает страницы, которые могут использоваться для создания или улучшения моделей ИИ. Само по себе обучение не даёт ни цитаты, ни ссылки. Поисковый краулер строит индекс, по которому ИИ-ассистент находит источники для ответа, и именно эти источники он может цитировать. Загрузчик по запросу пользователя открывает страницу вживую, потому что о ней кто-то спросил.

Разработчики описывают эти роли отдельно и сообщают, что настройки независимы. Например, OpenAI указывает, что каждая настройка robots.txt для её краулеров не зависит от остальных. Поэтому правильно выполненный отказ от обучения не затрагивает вашу видимость в поиске.

Какие токены отвечают за обучение, а какие за поиск

Вот токены, которые описывают разработчики, сгруппированные по тому, что они контролируют:

OpenAI: GPTBot собирает контент, который может использоваться для обучения её базовых моделей. OAI-SearchBot относится к поиску ChatGPT, а ChatGPT-User выполняет действия пользователей; OpenAI сообщает, что к нему robots.txt может не применяться.
Anthropic: ClaudeBot собирает контент, который может использоваться при обучении. Claude-SearchBot улучшает результаты поиска Claude, а Claude-User загружает страницы по запросам пользователей. Anthropic сообщает, что её боты соблюдают robots.txt.
Google: Google-Extended — токен robots.txt, у которого нет собственного краулера. Он управляет использованием контента при обучении будущих моделей Gemini и при привязке к источникам (grounding) в Gemini Apps и Vertex AI. Google сообщает, что токен не влияет на включение в Google Поиск и ранжирование, которыми управляет Googlebot.
Apple: Applebot-Extended не выполняет краулинг; он управляет тем, будет ли контент, загруженный Applebot, использоваться для обучения базовых моделей Apple. Apple сообщает, что страницы, запрещённые для него, всё равно могут появляться в её поисковой выдаче.
Meta: meta-externalagent выполняет краулинг, в частности для обучения базовых моделей, а meta-webindexer улучшает результаты поиска Meta AI.
Common Crawl: CCBot строит публичный веб-архив Common Crawl. Управляемый robots.txt от Cloudflare включает его в число запрещаемых краулеров для обучения ИИ.
Perplexity: PerplexityBot и Perplexity-User обслуживают поиск и запросы пользователей. Perplexity сообщает, что ни один из них не используется для сбора данных для обучения, так что токена Perplexity для обучения, который можно было бы заблокировать, нет.

Как выглядит такой robots.txt

По RFC 9309 несколько строк User-agent подряд образуют одну группу, и правила действуют для каждого из перечисленных агентов. Этот файл отказывается от перечисленных выше токенов обучения, разрешает агентов поиска и пользовательских запросов и оставляет закрытым один приватный путь для всех:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Важны два момента. Во-первых, именованная группа не наследует правила *, поэтому все приватные пути нужно повторить в группе поиска. Во-вторых, не добавляйте Googlebot или Applebot в группу обучения: это поисковые краулеры, и их блокировка убирает вас из Google Поиска и поисковых функций Apple. Изменения вступают в силу не мгновенно: OpenAI называет около 24 часов для поиска, а Perplexity — до 24 часов.

Сколько сайтов уже так делают

Меньше, чем можно ожидать. 2026-11-12 мы прочитали файлы robots.txt 1000 самых популярных доменов из списка Tranco. Из 518, отдавших robots.txt, 155 (29,9%) запрещают главную страницу хотя бы для одного AI-краулера для обучения. Лишь 57 (11,0%) идут избирательным путём: блокируют краулеры для обучения и разрешают все проверенные нами AI-краулеры поиска и пользовательских запросов. В целом 101 сайт (19,5%) блокирует хотя бы одного AI-краулера поиска или пользовательских запросов.

Цифры по отдельным краулерам показывают то же разделение. GPTBot заблокирован на 111 сайтах (21,4%), а OAI-SearchBot — на 58 (11,2%). ClaudeBot заблокирован на 110 (21,2%), а Claude-SearchBot — на 67 (12,9%). Google-Extended заблокирован на 94 (18,1%), Googlebot — на 14 (2,7%). Content-Signal используют только 18 сайтов (3,5%).

Исследование учитывает правила robots.txt только для главной страницы. Оно не измеряет блокировки на уровне файрвола и не показывает, что имел в виду каждый сайт.

Что добавляет Content-Signal

Content Signals — расширение robots.txt, опубликованное Cloudflare на contentsignals.org. Строка Content-Signal указывает, как можно использовать контент, с помощью трёх сигналов: search (построение поискового индекса и показ ссылок и коротких фрагментов), ai-input (подача контента в модели ИИ в реальном времени, например для привязки к источникам или извлечения данных для генеративных ответов) и ai-train (обучение или дообучение моделей).

Обратите внимание: определение search исключает сгенерированные ИИ поисковые сводки. Если вы хотите появляться в ответах ИИ, задайте и ai-input=yes, как в примере выше. Управляемый robots.txt от Cloudflare по умолчанию добавляет search=yes, ai-train=no; пропущенный сигнал такое использование ни разрешает, ни ограничивает.

Это заявленные предпочтения. На сайте Content Signals сказано, что они не мешают краулингу на техническом уровне, а Cloudflare отмечает, что соблюдение robots.txt добровольно. Ни на одной из проверенных нами страниц о краулерах OpenAI, Anthropic, Google или Perplexity не сказано, читают ли они Content-Signal, поэтому считайте его дополнением к группам для отдельных краулеров, а не заменой.

Где такое разделение работает не полностью

Несколько случаев требуют внимания:

Google AI Overviews и AI Mode опираются на индекс Поиска, который строит Googlebot, поэтому Google-Extended из них вас не убирает. В справке Search Console Google добавляет, что Google-Extended ограничивает обучение моделей, лежащих в основе генеративных функций Поиска; в документации к его краулеру такая область действия не упоминается. Теперь Google предлагает отдельную настройку Search Console, чтобы исключить сайт из AI Overviews и AI Mode.
OpenAI сообщает, что если сайт разрешает и GPTBot, и OAI-SearchBot, она может использовать результаты одного обхода для обеих целей. Сигналом, что контент не должен использоваться для обучения, служит запрет для GPTBot.
Отказы действуют на будущее. Например, Anthropic описывает запрет для ClaudeBot как исключение будущего контента вашего сайта из обучающих наборов данных.
Загрузчики по запросу пользователя занимают промежуточное положение. OpenAI и Perplexity сообщают, что robots.txt может не применяться к ChatGPT-User и в целом не применяется к Perplexity-User.
Файрволы не читают robots.txt. Широкое правило блокировки ботов может остановить разрешённые вами поисковые краулеры. Если вы блокируете обучение на уровне файрвола, сопоставляйте агентов обучения по имени и проверяйте их по опубликованным диапазонам IP.

Как проверить, что разделение работает

Прочитайте свой robots.txt так, как это сделал бы каждый краулер: найдите группу, в которой он указан, переходите к *, только если такой группы нет, и применяйте самое длинное подходящее правило. Затем запросите страницу с user agent каждого поискового краулера и убедитесь, что он получает 200 с полным содержимым, а не 403 или страницу-проверку.

AISeeWhy делает и то и другое для 14 краулеров, сгруппированных как агенты обучения, поиска и пользовательских запросов, и отмечает самую частую ошибку: блокировку токена поиска вроде PerplexityBot или Claude-SearchBot, когда хотели заблокировать обучение.

Частые вопросы

Уберёт ли блокировка GPTBot мой сайт из ответов ChatGPT?

Нет. OpenAI сообщает, что GPTBot предназначен для обучения, а каждая настройка robots.txt независима. Поиск ChatGPT использует OAI-SearchBot; пока он разрешён и не заблокирован вашим файрволом, ваши страницы остаются доступными для показа.

Убирает ли блокировка Google-Extended из AI Overviews?

По документации Google, нет. Google сообщает, что Google-Extended не влияет на включение в Google Поиск, а AI Overviews опираются на индекс Поиска. Google предлагает отдельный элемент управления в Search Console, исключающий сайт из AI Overviews и AI Mode.

Есть ли одна строка, которая блокирует любое обучение ИИ?

Стандартной строки нет. Content-Signal: ai-train=no выражает предпочтение для всех краулеров, но соблюдение зависит от оператора краулера. Документированный способ — именованные группы для каждого токена обучения.

Стоит ли блокировать Perplexity, чтобы остановить обучение ИИ?

Perplexity сообщает, что его агенты не используются для сбора данных для обучения. Блокировка PerplexityBot снижает вашу видимость в поисковой выдаче Perplexity и не служит отказом от обучения.