OAI-SearchBot
OAI-SearchBot — пошуковий краулер OpenAI. Він показує сайти у функціях пошуку ChatGPT. OpenAI каже, що сайти, які відмовилися від OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT, хоча можуть з'являтися як навігаційні посилання. Якщо хочете, щоб ChatGPT цитував ваші сторінки, дозвольте його.
Що він робить
OpenAI використовує OAI-SearchBot, щоб показувати сайти в результатах пошуку у функціях пошуку ChatGPT. Це не краулер для навчання: навчання моделей контролюється окремо через GPTBot.
OpenAI каже, що сайти, які відмовилися від OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT, хоча можуть з'являтися як навігаційні посилання. Системам OpenAI може знадобитися близько 24 годин, щоб врахувати зміни в robots.txt.
У нашому дослідженні за 2026-11 його заблокували 11.2% популярних сайтів із robots.txt. →
Токен robots.txt
OAI-SearchBot
Рядок user agent
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotЯк його дозволити
User-agent: OAI-SearchBot
Allow: /Як його заблокувати
User-agent: OAI-SearchBot
Disallow: /Як перевірити справжні візити
OpenAI публікує діапазони IP, які використовує цей агент, у файлі JSON. Порівняйте IP-адресу джерела запиту з цими діапазонами: запит, що називає себе OAI-SearchBot, але надходить з іншої адреси, не від OpenAI. OpenAI зазначає, що номер версії в user agent може змінюватися, тому зіставляйте токен OAI-SearchBot, а не весь рядок.