Видит ли ChatGPT мой сайт? Как проверить

Опубликовано 2026-11-12

Короткий ответ

ChatGPT может процитировать вашу страницу, только если поисковый краулер OpenAI OAI-SearchBot имеет право её загрузить и получает тот же HTML, что и браузер. Проверьте три вещи: в robots.txt нет запрета для OAI-SearchBot, файрвол или CDN не отвечает ему кодом 403 или страницей-проверкой, а основной текст есть в исходном HTML.

Многие владельцы сайтов спрашивают ChatGPT о собственном продукте, видят вместо него цитату конкурента и задаются вопросом: добирается ли ChatGPT до их сайта вообще? У этого вопроса есть конкретный, проверяемый ответ. OpenAI публикует названия своих краулеров и описывает, что делает каждый, поэтому можно проверить каждое звено цепочки: правила robots.txt, ответ вашего сервера и содержимое этого ответа.

На этой странице

Какие краулеры OpenAI важны для ответов ChatGPT
Как проверить robots.txt на доступ для ChatGPT
Может ли файрвол заблокировать ChatGPT, если robots.txt разрешает доступ
Как проверить, что получает OAI-SearchBot
Что делать, если страница открывается, а ChatGPT всё равно не помогает
Как это проверяет AISeeWhy

Какие краулеры OpenAI важны для ответов ChatGPT

В документации OpenAI описаны три агента, с которыми обычно сталкиваются владельцы сайтов. Задачи у них разные, и блокировка одного не блокирует остальные. OpenAI указывает, что каждая настройка robots.txt действует независимо.

OAI-SearchBot находит и индексирует страницы для поисковых функций ChatGPT. По словам OpenAI, сайты, отказавшиеся от него, не будут показываться в поисковых ответах ChatGPT. Именно этот агент решает, смогут ли вас процитировать.
GPTBot собирает контент, который может использоваться для обучения базовых моделей OpenAI. Запрет для него означает, что ваш контент не должен использоваться для обучения. Из поисковых ответов вас это не убирает.
ChatGPT-User заходит на страницу, когда человек просит об этом ChatGPT, например вставив ссылку. OpenAI сообщает, что правила robots.txt могут не применяться к таким визитам по запросу пользователя и что этот агент не используется для решения, появится ли контент в поиске.

Коротко: OAI-SearchBot отвечает за цитирование, GPTBot отвечает за обучение, а ChatGPT-User обрабатывает живые визиты по запросу пользователя.

Как проверить robots.txt на доступ для ChatGPT

Откройте https://yourdomain.com/robots.txt в браузере. Найдите группу, в которой указан OAI-SearchBot. Если такой группы нет, краулер следует группе User-agent: *. Строка Disallow: / в той группе, которая к нему относится, закрывает весь сайт.

Проверьте и то, что файл вообще отвечает. По RFC 9309, если robots.txt возвращает ошибку сервера (5xx) или недоступен, краулер должен считать, что весь сайт закрыт. Ответ 404 не проблема: он означает отсутствие правил. Частая ошибка — когда по адресу robots.txt отдаётся HTML-страница со статусом 200: правил в ней краулеры не находят.

Настройка, при которой ChatGPT-поиск работает, а обучение отключено, выглядит так:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI сообщает, что после обновления robots.txt изменения для поиска могут вступить в силу примерно через 24 часа.

Может ли файрвол заблокировать ChatGPT, если robots.txt разрешает доступ

Да, и это частая причина. robots.txt — просьба к добросовестным краулерам, а не контроль доступа. Что на самом деле вернётся в ответ, решает ваш файрвол, CDN или защита от ботов. Если AI-краулер для них нежелательный бот, он получит 403, 429 или страницу-проверку вроде экрана Cloudflare «Just a moment...», тогда как люди в браузере видят страницу как обычно.

Снаружи сайт выглядит открытым для всех. Разницу показывает только запрос, который представляется краулером. В таком случае robots.txt говорит «да», сервер говорит «нет», и побеждает сервер.

Как проверить, что получает OAI-SearchBot

Отправьте два запроса на один и тот же URL: один с user agent браузера, другой с user agent краулера, и сравните код ответа и размер. OpenAI публикует пример user agent для каждого краулера; номер версии в нём может меняться.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Если браузер получает 200 с большим телом ответа, а краулер получает 403, 429, 503 или заметно меньший ответ, файрвол обращается с краулером иначе. Есть одно ограничение: ваш тест идёт с вашего IP-адреса, а не с адресов OpenAI. Файрволы, которые проверяют краулеры по опубликованным диапазонам IP-адресов (OpenAI перечисляет их на openai.com/searchbot.json), могут пропустить настоящий краулер и заблокировать ваш тест. Блокировка в этом тесте всё равно показывает, как файрвол относится к такому user agent, и это стоит исправить.

Что делать, если страница открывается, а ChatGPT всё равно не помогает

Доступ — лишь первый шаг. Если приходящий HTML — пустая оболочка, которую позже заполняет JavaScript, краулер может получить почти без текста. Посмотрите исходный HTML через curl или view-source в браузере: если основного текста там нет, краулер, скорее всего, его тоже не видит.

Дальше идут сигналы содержания: чёткий короткий ответ в начале страницы, заголовки, совпадающие с вопросами людей, указанные издатель и автор, видимые даты. Цитирования они не гарантируют, но страницу проще цитировать корректно.

Как это проверяет AISeeWhy

AISeeWhy загружает вашу страницу как OAI-SearchBot, GPTBot, ChatGPT-User и ещё 11 краулеров и сравнивает результат с обычным браузером, читает ваш robots.txt по правилам RFC 9309 и называет файрвол, если тот отвечает блокировкой или проверкой. К каждой находке прилагается готовое исправление, а бесплатная проверка показывает оценку и первую находку.

Частые вопросы

Если заблокировать GPTBot, пропадёт ли мой сайт из поиска ChatGPT?

Нет. OpenAI считает настройки каждого краулера независимыми. GPTBot относится к обучению, а OAI-SearchBot решает, могут ли страницы показываться в поисковых ответах ChatGPT. Один можно запретить, а другой разрешить.

Соблюдает ли ChatGPT-User правила robots.txt?

OpenAI сообщает, что поскольку эти визиты инициирует пользователь, правила robots.txt могут не применяться. Если вы хотите остановить такие визиты, правило в robots.txt не станет надёжным способом.

Через какое время изменение robots.txt дойдёт до ChatGPT?

По данным OpenAI, после обновления robots.txt системам для поиска может потребоваться около 24 часов, чтобы подстроиться.

Достаточно ли быть доступным, чтобы тебя цитировали?

Нет. Доступ делает цитирование возможным, но не гарантирует его. Использовать ли страницу в ответе, по-прежнему решают её содержание и то, насколько ясно оно изложено.