GPTBot
GPTBot — краулер OpenAI для контента, который может использоваться для обучения базовых генеративных моделей. Запрет в robots.txt сообщает OpenAI, что ваш контент нельзя использовать для обучения. Блокировка не убирает вас из ответов поиска ChatGPT: они зависят от OAI-SearchBot.
Что он делает
OpenAI сообщает, что GPTBot используется, чтобы делать её базовые генеративные модели полезнее и безопаснее. Он обходит контент, который может использоваться для обучения этих моделей, а запрет для GPTBot означает, что контент сайта не следует использовать для обучения.
Разрешать ли его — вопрос политики, а не видимости. Поиск ChatGPT использует отдельный краулер, OAI-SearchBot, и OpenAI описывает эти две настройки как независимые. Если разрешены оба, OpenAI сообщает, что может использовать результаты одного обхода для обеих целей, чтобы не обходить сайт дважды.
В нашем исследовании за 2026-11 21.4% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
GPTBot
Строка user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotКак его разрешить
User-agent: GPTBot
Allow: /Как его заблокировать
User-agent: GPTBot
Disallow: /Как проверить настоящие визиты
OpenAI публикует диапазоны IP, которые использует этот агент, в виде файла JSON. Сравните исходный IP запроса с этими диапазонами: запрос, назвавшийся GPTBot, но пришедший с другого адреса, не от OpenAI. OpenAI отмечает, что номер версии в user agent может меняться, поэтому сопоставляйте токен GPTBot, а не всю строку.