OAI-SearchBot
OAI-SearchBot — поисковый краулер OpenAI. Он показывает сайты в функциях поиска ChatGPT. OpenAI сообщает, что сайты, закрытые для OAI-SearchBot, не будут показываться в ответах поиска ChatGPT, хотя могут оставаться в виде навигационных ссылок. Если хотите, чтобы ChatGPT цитировал ваши страницы, разрешите его.
Что он делает
OpenAI использует OAI-SearchBot, чтобы показывать сайты в результатах функций поиска ChatGPT. Это не краулер для обучения: обучение моделей настраивается отдельно через GPTBot.
OpenAI сообщает, что сайты, закрытые для OAI-SearchBot, не будут показываться в ответах поиска ChatGPT, хотя могут оставаться в виде навигационных ссылок. После изменения robots.txt системам OpenAI может потребоваться около 24 часов, чтобы это учесть.
В нашем исследовании за 2026-11 11.2% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
OAI-SearchBot
Строка user agent
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotКак его разрешить
User-agent: OAI-SearchBot
Allow: /Как его заблокировать
User-agent: OAI-SearchBot
Disallow: /Как проверить настоящие визиты
OpenAI публикует диапазоны IP, которые использует этот агент, в виде файла JSON. Сравните исходный IP запроса с этими диапазонами: запрос, назвавшийся OAI-SearchBot, но пришедший с другого адреса, не от OpenAI. OpenAI отмечает, что номер версии в user agent может меняться, поэтому сопоставляйте токен OAI-SearchBot, а не всю строку.