GPTBot
GPTBot — краулер OpenAI для контенту, який може використовуватися для навчання її генеративних базових моделей ШІ. Заборона в robots.txt повідомляє OpenAI, що ваш контент не слід використовувати для навчання. Блокування не прибирає вас із відповідей пошуку ChatGPT, які залежать від OAI-SearchBot.
Що він робить
OpenAI повідомляє, що GPTBot використовується, щоб зробити її генеративні базові моделі ШІ кориснішими та безпечнішими. Він обходить контент, який може використовуватися для навчання цих моделей, а заборона GPTBot означає, що контент сайту не слід використовувати для навчання.
Чи дозволяти його, це питання політики, а не видимості. Пошук ChatGPT використовує окремий краулер, OAI-SearchBot, і OpenAI описує ці два налаштування як незалежні. Якщо дозволено обидва, OpenAI каже, що може використати результати одного обходу для обох цілей, щоб не обходити сторінку двічі.
У нашому дослідженні за 2026-11 його заблокували 21.4% популярних сайтів із robots.txt. →
Токен robots.txt
GPTBot
Рядок user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotЯк його дозволити
User-agent: GPTBot
Allow: /Як його заблокувати
User-agent: GPTBot
Disallow: /Як перевірити справжні візити
OpenAI публікує діапазони IP, які використовує цей агент, у файлі JSON. Порівняйте IP-адресу джерела запиту з цими діапазонами: запит, що називає себе GPTBot, але надходить з іншої адреси, не від OpenAI. OpenAI зазначає, що номер версії в user agent може змінюватися, тому зіставляйте токен GPTBot, а не весь рядок.