Чотири з десяти бізнес-сайтів не пускають AI-краулери
У наших аудитах 165 бізнес-сайтів у США, Великій Британії та Франції 38% відмовили на рівні сервера принаймні одному AI-краулеру, майже завжди боту для навчання чи скрапінгу. Приблизно кожен десятий сайт також відмовив AI-пошуковому краулеру, як-от PerplexityBot або OAI-SearchBot, тобто тим, що можуть привести до цитування. Перевірте свій сайт одним запитом на кожен краулер.
Ви питаєте ChatGPT про власний продукт, а він називає конкурента, сайт із відгуками та гілку на форумі. Іноді це питання контенту. Часто ж фаєрвол відповідає AI-краулерам відмовою, і ніхто у вашій команді цього не бачив, бо в браузері сайт працює.
На цій сторінці
Що ми перевіряли?
Ми кілька разів запитуємо сторінку з тієї самої адреси: один раз як звичайний браузер і по одному разу як 14 AI-краулерів і пошукових краулерів, зокрема GPTBot, OAI-SearchBot і ChatGPT-User від OpenAI, ClaudeBot і Claude-SearchBot від Anthropic та PerplexityBot від Perplexity. Якщо браузер отримує сторінку, а краулер — 401, 403, 406, 429, 451, 503 або сторінку-челендж, сайт не пускає цей краулер.
Вибірка — 218 бізнес-сайтів у США, Великій Британії та Франції, перевірених з 18 по 21 листопада 2026 року. Повний тест вдалося провести для 165. Решта 53 відмовили навіть на наш звичайний запит із браузера або не відповіли, тому ми виключили їх, а не вгадували.
Що ми виявили?
- 38% сайтів, які вдалося перевірити (63 із 165), відмовили принаймні одному AI-краулеру.
- Кожен із цих сайтів відмовив принаймні одному краулеру для навчання чи скрапінгу.
Bytespiderвідхилили 35% усіх сайтів,ClaudeBot— 13%,GPTBot— 11%. - 10% сайтів (16) також відмовили принаймні одному AI-пошуковому краулеру, а 5% (8) відмовили краулеру, який відкриває сторінку наживо, коли людина питає про неї асистента.
- Найважливішими пошуковими краулерами були
PerplexityBot(11 сайтів) іOAI-SearchBot(5 сайтів). - За 32 із 66 сайтів, що відмовили будь-якому з перевірених краулерів, стояв Cloudflare. Ще для 30 ми не змогли визначити, який фаєрвол відповів.
Чому так стається і коли це свідомий вибір?
Багато з цього, ймовірно, зроблено навмисно. Чимало власників не хочуть, щоб їхній контент використовували для навчання моделей, а налаштування захисту від ботів, що блокують скрапери, легко ввімкнути. Це слушний вибір.
Проблема в тому, що AI-компанії мають окремі краулери для навчання і для пошуку. Щоб заблокувати краулер для навчання, не обов'язково блокувати пошуковий, а саме пошуковий може привести до цитування вашої сторінки у відповіді.
Чи кращі найбільші сайти?
Не особливо. У нашому звіті про robots.txt для 1000 найпопулярніших доменів 29,9% сайтів, що мають robots.txt, блокують принаймні один AI-краулер для навчання, а 63,2% із них блокують також принаймні один AI-пошуковий або користувацький краулер. Лише 11,0% блокують навчання, дозволяючи всі AI-пошукові краулери, — а саме таке налаштування більшість із них, імовірно, і хотіла.
Як за десять хвилин перевірити власний сайт?
- Відкрийте
yoursite.com/robots.txt. Для кожного AI-краулера, який вас цікавить, подивіться, чи є група з його назвою і що в ній сказано. Група з назвою краулера повністю замінює загальну групу*. - Перевіряйте те, що робить сервер, а не те, що написано у файлі. Запросіть свою ключову сторінку як браузер і як краулер. 403, 429, сторінка із заголовком
Just a moment...або відповідь, значно менша за ту, що отримує браузер, — ознака блокування фаєрволом. - Запитайте асистента. З увімкненим пошуком поставте ChatGPT або Perplexity запитання, які ставлять ваші покупці, і подивіться, які сайти він цитує. Якщо з доступом усе гаразд, а вас усе одно немає, проблема в контенті, а не в доступі.
Наскільки надійні ці цифри?
Сприймайте їх як закономірність, а не як перепис. Вибірка не випадкова: це компанії, знайдені через бібліотеки реклами, сайти вакансій і карти. Ми тестуємо за user agent з однієї адреси, тоді як справжні краулери приходять з адрес, які публікують їхні вендори, тож деякі фаєрволи ставилися б до справжніх інакше. І блокування не завжди є помилкою.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Яка частка сайтів блокує AI-краулери?
У нашому аудиті 165 бізнес-сайтів, які вдалося перевірити, 38% відмовили на рівні сервера принаймні одному AI-краулеру, переважно ботам для навчання і скрапінгу. Близько 10% також відмовили AI-пошуковому краулеру.
Чи блокування GPTBot виводить мій сайт із пошуку ChatGPT?
Ні. OpenAI зазначає, що кожне налаштування robots.txt для її краулерів незалежне: GPTBot стосується навчання, OAI-SearchBot — пошуку ChatGPT. Блокування одного не блокує другий.
Як сайт може заблокувати краулер без robots.txt?
Фаєрвол, CDN або правило захисту від ботів може відповісти краулеру кодом 403, 429 або сторінкою-челенджем. robots.txt цього не показує, тому це треба перевіряти, запитуючи сторінку як краулер.
Чи завжди відмова краулеру — це помилка?
Ні. Багато власників хочуть не пускати краулери для навчання і скрапери. Помилка — випадково блокувати пошукові краулери, адже саме вони можуть процитувати вашу сторінку.
Джерела
- AISeeWhy: Звіт про доступ AI-краулерів, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Огляд краулерів OpenAI
- Perplexity: Краулери Perplexity
- Cloudflare: Керування AI-краулерами (AI Crawl Control)