Чи бачить ChatGPT мій сайт? Як перевірити

Опубліковано 2026-11-12

Коротка відповідь

ChatGPT може процитувати вашу сторінку, лише якщо пошуковий краулер OpenAI OAI-SearchBot має право її завантажити й отримує той самий HTML, що й браузер. Перевірте три речі: у robots.txt немає заборони для OAI-SearchBot, файрвол або CDN не відповідає йому кодом 403 чи сторінкою-перевіркою, а основний текст є в початковому HTML.

Багато власників сайтів запитують ChatGPT про власний продукт, бачать замість нього цитату конкурента й дивуються: чи доходить ChatGPT до їхнього сайту взагалі? У цього питання є конкретна відповідь, яку можна перевірити. OpenAI публікує назви своїх краулерів і описує, що робить кожен із них, тож можна перевірити кожну ланку ланцюга: правила robots.txt, відповідь вашого сервера та вміст цієї відповіді.

На цій сторінці

Які краулери OpenAI важливі для відповідей ChatGPT
Як перевірити robots.txt на доступ для ChatGPT
Чи може файрвол заблокувати ChatGPT, якщо robots.txt дозволяє доступ
Як перевірити, що отримує OAI-SearchBot
Що робити, якщо сторінка відкривається, а ChatGPT усе одно не допомагає
Як це перевіряє AISeeWhy

Які краулери OpenAI важливі для відповідей ChatGPT

У документації OpenAI описано три агенти, з якими зазвичай стикаються власники сайтів. Завдання в них різні, і блокування одного не блокує решту. OpenAI зазначає, що кожне налаштування robots.txt діє незалежно.

OAI-SearchBot знаходить та індексує сторінки для пошукових функцій ChatGPT. За словами OpenAI, сайти, які відмовилися від нього, не показуватимуться у пошукових відповідях ChatGPT. Саме цей агент вирішує, чи зможуть вас процитувати.
GPTBot збирає контент, який може використовуватися для навчання базових моделей OpenAI. Заборона для нього означає, що ваш контент не слід використовувати для навчання. З пошукових відповідей вас це не прибирає.
ChatGPT-User заходить на сторінку, коли людина просить про це ChatGPT, наприклад вставивши посилання. OpenAI повідомляє, що правила robots.txt можуть не застосовуватися до таких візитів на запит користувача, і що цей агент не використовується для рішення, чи з’явиться контент у пошуку.

Коротко: OAI-SearchBot відповідає за цитування, GPTBot відповідає за навчання, а ChatGPT-User обробляє живі візити на запит користувача.

Як перевірити robots.txt на доступ для ChatGPT

Відкрийте https://yourdomain.com/robots.txt у браузері. Знайдіть групу, у якій указано OAI-SearchBot. Якщо такої групи немає, краулер дотримується групи User-agent: *. Рядок Disallow: / у групі, що до нього належить, закриває весь сайт.

Перевірте й те, що файл узагалі відповідає. За RFC 9309, якщо robots.txt повертає помилку сервера (5xx) або недоступний, краулер має вважати, що весь сайт закритий. Відповідь 404 не проблема: вона означає відсутність правил. Поширена помилка — коли за адресою robots.txt віддається HTML-сторінка зі статусом 200: правил у ній краулери не знаходять.

Налаштування, за якого пошук ChatGPT працює, а навчання вимкнено, виглядає так:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI повідомляє, що після оновлення robots.txt зміни для пошуку можуть набути чинності приблизно через 24 години.

Чи може файрвол заблокувати ChatGPT, якщо robots.txt дозволяє доступ

Так, і це поширена причина. robots.txt — прохання до добросовісних краулерів, а не контроль доступу. Що насправді повернеться у відповідь, вирішує ваш файрвол, CDN або захист від ботів. Якщо AI-краулер для них небажаний бот, він отримає 403, 429 або сторінку-перевірку на кшталт екрана Cloudflare «Just a moment...», тоді як люди в браузері бачать сторінку як звичайно.

Ззовні сайт здається відкритим для всіх. Різницю показує лише запит, що представляється краулером. У такому разі robots.txt каже «так», сервер каже «ні», і перемагає сервер.

Як перевірити, що отримує OAI-SearchBot

Надішліть два запити на один і той самий URL: один із user agent браузера, другий із user agent краулера, і порівняйте код відповіді та розмір. OpenAI публікує приклад user agent для кожного краулера; номер версії в ньому може змінюватися.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Якщо браузер отримує 200 з великим тілом відповіді, а краулер отримує 403, 429, 503 або помітно менше тіло, файрвол ставиться до краулера інакше. Є одне обмеження: ваш тест іде з вашої IP-адреси, а не з адрес OpenAI. Файрволи, які перевіряють краулери за опублікованими діапазонами IP-адрес (OpenAI наводить їх на openai.com/searchbot.json), можуть пропустити справжній краулер і заблокувати ваш тест. Блокування в цьому тесті все одно показує, як файрвол ставиться до такого user agent, і це варто виправити.

Що робити, якщо сторінка відкривається, а ChatGPT усе одно не допомагає

Доступ — лише перший крок. Якщо HTML, що надходить, — порожня оболонка, яку пізніше заповнює JavaScript, краулер може отримати майже без тексту. Подивіться на сирий HTML через curl або view-source у браузері: якщо основного тексту там немає, краулер, найімовірніше, його теж не бачить.

Далі йдуть сигнали змісту: чітка коротка відповідь на початку сторінки, заголовки, що збігаються з питаннями людей, указані видавець і автор, видимі дати. Цитування вони не гарантують, але сторінку легше цитувати коректно.

Як це перевіряє AISeeWhy

AISeeWhy завантажує вашу сторінку як OAI-SearchBot, GPTBot, ChatGPT-User і ще 11 краулерів та порівнює результат зі звичайним браузером, читає ваш robots.txt за правилами RFC 9309 і називає файрвол, якщо той відповідає блокуванням або перевіркою. До кожної знахідки додається готове виправлення, а безкоштовна перевірка показує оцінку та першу знахідку.

Поширені запитання

Якщо заблокувати GPTBot, чи зникне мій сайт із пошуку ChatGPT?

Ні. OpenAI вважає налаштування кожного краулера незалежними. GPTBot стосується навчання, а OAI-SearchBot вирішує, чи можуть сторінки показуватися у пошукових відповідях ChatGPT. Один можна заборонити, а інший дозволити.

Чи дотримується ChatGPT-User правил robots.txt?

OpenAI повідомляє, що оскільки ці візити ініціює користувач, правила robots.txt можуть не застосовуватися. Якщо ви хочете зупинити такі візити, правило в robots.txt не стане надійним способом.

Через який час зміна robots.txt дійде до ChatGPT?

За даними OpenAI, після оновлення robots.txt системам для пошуку може знадобитися близько 24 годин, щоб підлаштуватися.

Чи достатньо бути доступним, щоб тебе цитували?

Ні. Доступ робить цитування можливим, але не гарантує його. Чи використати сторінку у відповіді, як і раніше, вирішують її зміст і те, наскільки ясно його викладено.