Чотири з десяти бізнес-сайтів не пускають AI-краулери

Опубліковано

Коротка відповідь

У наших аудитах 165 бізнес-сайтів у США, Великій Британії та Франції 38% відмовили на рівні сервера принаймні одному AI-краулеру, майже завжди боту для навчання чи скрапінгу. Приблизно кожен десятий сайт також відмовив AI-пошуковому краулеру, як-от PerplexityBot або OAI-SearchBot, тобто тим, що можуть привести до цитування. Перевірте свій сайт одним запитом на кожен краулер.

Ви питаєте ChatGPT про власний продукт, а він називає конкурента, сайт із відгуками та гілку на форумі. Іноді це питання контенту. Часто ж фаєрвол відповідає AI-краулерам відмовою, і ніхто у вашій команді цього не бачив, бо в браузері сайт працює.

На цій сторінці
  1. Що ми перевіряли?
  2. Що ми виявили?
  3. Чому так стається і коли це свідомий вибір?
  4. Чи кращі найбільші сайти?
  5. Як за десять хвилин перевірити власний сайт?
  6. Наскільки надійні ці цифри?

Що ми перевіряли?

Ми кілька разів запитуємо сторінку з тієї самої адреси: один раз як звичайний браузер і по одному разу як 14 AI-краулерів і пошукових краулерів, зокрема GPTBot, OAI-SearchBot і ChatGPT-User від OpenAI, ClaudeBot і Claude-SearchBot від Anthropic та PerplexityBot від Perplexity. Якщо браузер отримує сторінку, а краулер — 401, 403, 406, 429, 451, 503 або сторінку-челендж, сайт не пускає цей краулер.

Вибірка — 218 бізнес-сайтів у США, Великій Британії та Франції, перевірених з 18 по 21 листопада 2026 року. Повний тест вдалося провести для 165. Решта 53 відмовили навіть на наш звичайний запит із браузера або не відповіли, тому ми виключили їх, а не вгадували.

Що ми виявили?

Чому так стається і коли це свідомий вибір?

Багато з цього, ймовірно, зроблено навмисно. Чимало власників не хочуть, щоб їхній контент використовували для навчання моделей, а налаштування захисту від ботів, що блокують скрапери, легко ввімкнути. Це слушний вибір.

Проблема в тому, що AI-компанії мають окремі краулери для навчання і для пошуку. Щоб заблокувати краулер для навчання, не обов'язково блокувати пошуковий, а саме пошуковий може привести до цитування вашої сторінки у відповіді.

Чи кращі найбільші сайти?

Не особливо. У нашому звіті про robots.txt для 1000 найпопулярніших доменів 29,9% сайтів, що мають robots.txt, блокують принаймні один AI-краулер для навчання, а 63,2% із них блокують також принаймні один AI-пошуковий або користувацький краулер. Лише 11,0% блокують навчання, дозволяючи всі AI-пошукові краулери, — а саме таке налаштування більшість із них, імовірно, і хотіла.

Як за десять хвилин перевірити власний сайт?

  1. Відкрийте yoursite.com/robots.txt. Для кожного AI-краулера, який вас цікавить, подивіться, чи є група з його назвою і що в ній сказано. Група з назвою краулера повністю замінює загальну групу *.
  2. Перевіряйте те, що робить сервер, а не те, що написано у файлі. Запросіть свою ключову сторінку як браузер і як краулер. 403, 429, сторінка із заголовком Just a moment... або відповідь, значно менша за ту, що отримує браузер, — ознака блокування фаєрволом.
  3. Запитайте асистента. З увімкненим пошуком поставте ChatGPT або Perplexity запитання, які ставлять ваші покупці, і подивіться, які сайти він цитує. Якщо з доступом усе гаразд, а вас усе одно немає, проблема в контенті, а не в доступі.

Наскільки надійні ці цифри?

Сприймайте їх як закономірність, а не як перепис. Вибірка не випадкова: це компанії, знайдені через бібліотеки реклами, сайти вакансій і карти. Ми тестуємо за user agent з однієї адреси, тоді як справжні краулери приходять з адрес, які публікують їхні вендори, тож деякі фаєрволи ставилися б до справжніх інакше. І блокування не завжди є помилкою.

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Яка частка сайтів блокує AI-краулери?

У нашому аудиті 165 бізнес-сайтів, які вдалося перевірити, 38% відмовили на рівні сервера принаймні одному AI-краулеру, переважно ботам для навчання і скрапінгу. Близько 10% також відмовили AI-пошуковому краулеру.

Чи блокування GPTBot виводить мій сайт із пошуку ChatGPT?

Ні. OpenAI зазначає, що кожне налаштування robots.txt для її краулерів незалежне: GPTBot стосується навчання, OAI-SearchBot — пошуку ChatGPT. Блокування одного не блокує другий.

Як сайт може заблокувати краулер без robots.txt?

Фаєрвол, CDN або правило захисту від ботів може відповісти краулеру кодом 403, 429 або сторінкою-челенджем. robots.txt цього не показує, тому це треба перевіряти, запитуючи сторінку як краулер.

Чи завжди відмова краулеру — це помилка?

Ні. Багато власників хочуть не пускати краулери для навчання і скрапери. Помилка — випадково блокувати пошукові краулери, адже саме вони можуть процитувати вашу сторінку.

Джерела

Інші статті