Як перевірити, чи блокує сайт AI-краулери

Вставте будь-яку адресу й перегляньте, чи блокує вона GPTBot, ClaudeBot, PerplexityBot та інші AI-краулери: у robots.txt, у файрволі чи в обох місцях.

Безкоштовно · Без реєстрації · Результат за 30 секунд

Які краулери заблоковані

Краулери для навчання, пошуку й запитів користувачів показано окремо, адже блокування GPTBot не блокує OAI-SearchBot, а блокування ClaudeBot не блокує Claude-SearchBot.

Рядок, який вирішує

Для кожного краулера robots.txt читається за правилами RFC 9309: група, що називає його, або User-agent: * як запасний варіант, і правило, яке перемагає.

Відмови файрвола

Сторінку запитують як 14 краулерів і як звичайний браузер. Блокування та сторінки-перевірки позначаються, а файрвол, який відповів, називається.

Виправлення для кожної знахідки

До кожної знахідки додається зміна, яку треба внести. Безкоштовна перевірка показує вашу оцінку та першу знахідку; повний звіт коштує $29 одноразово.

Коротка відповідь

Сайт може блокувати AI-краулери у двох місцях: у robots.txt, який просить краулери не заходити, і на сервері або у файрволі, які справді їм відмовляють. Знайдіть у robots.txt правила для токена кожного краулера, а якщо їх немає, для User-agent: *, потім завантажте сторінку від імені краулера й порівняйте з браузером. Розширення для браузера виконує частину з robots.txt для 16 AI-краулерів в один клік.

Перевірте вручну за 3 кроки

  1. Виберіть краулер

    Кожна AI-компанія має окремі краулери. Навчання: GPTBot, ClaudeBot. Пошук: OAI-SearchBot, Claude-SearchBot, PerplexityBot. На запит людини: ChatGPT-User, Claude-User, Perplexity-User.

  2. Прочитайте для нього robots.txt

    Відкрийте https://example.com/robots.txt і знайдіть групу, що називає краулер. Якщо такої групи немає, діє група User-agent: *; якщо немає жодної, дозволено все.

  3. Завантажте сторінку як краулер

    Запросіть сторінку з user agent краулера й порівняйте статус і розмір з відповіддю браузера. 403, сторінка-перевірка або набагато менша відповідь 200 означають, що файрвол відмовляє краулеру.

Поширені запитання

Чи відкритий сайт без robots.txt для AI-краулерів?

Так, якщо говорити про robots.txt. Відповідь 404 на запит robots.txt означає, що правил немає, тому будь-який краулер може завантажувати будь-яку сторінку. Файрвол при цьому все одно може блокувати краулери.

Чи показує розширення блокування файрвола?

Ні. Воно читає robots.txt із вашого браузера, а це показує, про що сайт просить краулери. Для блокувань файрвола й захисту від ботів потрібен запит, надісланий від імені краулера, і це робить повна перевірка на aiseewhy.com.

Чи можна перевірити чужий сайт?

Так. robots.txt публічний, а розширення читає лише файли robots.txt і llms.txt, які публікує сайт, ті самі файли, що читає будь-який краулер.

Читати повний посібник

Перевіряєте ви свій сайт після змін чи дивитеся на чужий, перш ніж на нього покладатися, питання «чи блокує цей сайт AI-краулери?» має точну відповідь. Вона залежить від того, про який краулер ідеться: AI-компанії використовують окремі краулери для навчання, для пошуку і для візитів на запит, і сайт може ставитися до кожного по-різному. У цьому посібнику три перевірки, від найшвидшої до найповнішої.

Де сайт може блокувати AI-краулери

Шарів три, і краулер має пройти всі, щоб використати сторінку.

  • robots.txt: публічний файл із правилами, який добросовісні краулери читають, перш ніж щось завантажити. Це прохання, а не замок.
  • Сервер, CDN або файрвол: вони вирішують, що насправді повернеться у відповідь. Правило захисту від ботів може відповісти краулеру кодом 403, 429 або сторінкою-перевіркою, навіть якщо robots.txt його дозволяє.
  • Сама сторінка: якщо основний текст з’являється лише після виконання JavaScript, краулер, який читає початковий HTML, отримує майже порожню сторінку, хоча його ніщо не блокувало.

Більшість швидких перевірок дивиться лише на перший шар. Це добрий початок, якщо пам’ятати про два інші.

Як прочитати robots.txt для одного AI-краулера

Відкрийте https://example.com/robots.txt у браузері й знайдіть групу, яка стосується краулера. Група починається з одного або кількох рядків User-agent. Краулер використовує групу, де вказано його токен, наприклад GPTBot; регістр під час зіставлення не враховується. Якщо жодна група його не називає, він використовує групу User-agent: *. Якщо немає ні тієї, ні іншої, дозволено все.

Усередині групи перемагає правило з найдовшим відповідним шляхом, а коли Allow і Disallow однакової довжини, перемагає Allow. Тому файл нижче закриває для GPTBot увесь сайт, але пускає всі інші краулери:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Подивіться й на те, як відповідає сам файл. За RFC 9309 відповідь 404 означає, що правил немає, отже, дозволено все. Помилка сервера (5xx) або відсутність відповіді означає, що краулер має вважати закритим увесь сайт. Поширена помилка — коли за адресою robots.txt віддається HTML-сторінка: коректних правил краулери в ній не знаходять.

Як перевірити всі AI-краулери одразу

Читати файл вручну стає довго, щойно вам важливий більше ніж один краулер. У кожної AI-компанії їх кілька, з різними завданнями:

  • Краулери навчання збирають контент для навчання моделей: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, а також токени Google-Extended і Applebot-Extended, які трапляються лише в robots.txt.
  • Пошукові краулери індексують сторінки, щоб AI-відповіді могли на них посилатися: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Користувацькі краулери завантажують сторінку, коли людина просить про це асистента: ChatGPT-User, Claude-User, Perplexity-User.

Безкоштовне розширення для Chrome «Перевірка ШІ-краулерів» робить це в один клік. Відкрийте будь-яку сторінку, натисніть на значок, і воно прочитає robots.txt цього сайту та покаже для кожного з 16 краулерів, чи дозволена сторінка і який рядок це визначає. Також воно показує налаштування Content-Signal, чи є на сайті llms.txt і які карти сайту вказано в robots.txt. Розширення працює у вашому браузері, не потребує облікового запису й читає лише той сайт, на якому ви його натиснули.

Без Chrome безкоштовна перевірка robots.txt на aiseewhy.com дає ту саму відповідь для вставленого URL.

Як перевірити, чи пропускає їх файрвол

robots.txt показує, про що просить сайт. Щоб побачити, що краулер отримує насправді, запросіть сторінку двічі, один раз як браузер і один раз із user agent краулера, і порівняйте код відповіді та розмір відповіді:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Якщо браузер отримує 200, а краулер отримує 403, 429 або 503 чи помітно меншу сторінку, файрвол або захист від ботів ставиться до краулера інакше. Будь-яка зовнішня перевірка має одне обмеження: запит іде з вашої мережі, а не з мережі AI-компанії. Файрвол, який довіряє краулерам за їхніми опублікованими IP-адресами, може ставитися до справжнього краулера інакше, тому останнє слово за журналами вашого сервера.

Повна перевірка на aiseewhy.com завантажує сторінку від імені всіх 16 краулерів поряд зі справжнім браузером, називає файрвол або правило, яке блокує краулер, і порівнює текст, отриманий кожним із них.

До якого результату прагнути

Це залежить від того, чого ви хочете. Якщо ви хочете, щоб вас цитували в пошуку ChatGPT, Claude і Perplexity, пошукові й користувацькі краулери мають бути дозволені в robots.txt і отримувати від сервера справжню сторінку. Якщо ви не хочете, щоб ваш контент використовували для навчання, блокуйте лише токени навчання. Це окремі рішення: блокування GPTBot не блокує OAI-SearchBot, а блокування ClaudeBot не блокує Claude-SearchBot.

Багато сайтів їх плутають. У нашому звіті за листопад 2026 року про 1000 найпопулярніших доменів 63% сайтів, які блокують краулер навчання, блокують і хоча б один пошуковий або користувацький AI-краулер, і їхні сторінки не потрапляють у ці AI-відповіді.

Безкоштовні інструменти

Що далі

Краулери в цій статті

Джерела

Інші статті

Опубліковано