Ми прочитали robots.txt 10 000 найпопулярніших сайтів. Ось що вони роблять щодо AI-краулерів
Із 6 192 доменів топ-10 000 Tranco, що віддають robots.txt, 23,2% блокують принаймні один AI-краулер для навчання, а 12,3% — принаймні один AI-пошуковий або користувацький краулер. 51,6% сайтів, що блокують навчання, блокують і AI-пошук. Лише 11,2% відмовляються від навчання, дозволяючи всі AI-пошукові краулери.
У листопаді ми прочитали robots.txt 1000 найпопулярніших доменів. Цього разу ми прочитали 10 000 за тією самою методикою й додатково перевірили, як змінюється картина в менших сайтів. Головний висновок підтверджується: блокування навчання і блокування пошуку сприймають як одне рішення, хоча це два різні рішення.
На цій сторінці
Як ми вимірювали?
Ми взяли топ-10 000 доменів зі списку Tranco (ID списку JZWZY) і 21 листопада 2026 року один раз завантажили для кожного домену головну сторінку, robots.txt і llms.txt із власним user agent AISeeWhy. Кожен robots.txt ми оцінювали за RFC 9309 для головної сторінки (/) і для 16 AI-краулерів та пошукових краулерів.
6 192 із 10 000 доменів віддали robots.txt (успішна відповідь, що не є HTML-сторінкою). 1 121 відповів кодом 4xx, що означає відсутність правил і дозвіл для всіх краулерів, а 2 687 не віддали його (немає HTTPS-сайту, помилки, тайм-аути або замість файлу HTML-сторінка). Усі відсотки нижче розраховано від 6 192. У списку є CDN та API, які не обслуговують жодного сайту.
Що ми виявили?
- 23,2% (1 437 доменів) блокують принаймні один AI-краулер для навчання.
- 12,3% (762) блокують принаймні один AI-пошуковий або користувацький краулер, тож їхні сторінки не повинні використовуватися чи цитуватися у відповідях, які на ньому ґрунтуються.
- 51,6% доменів, що блокують краулер для навчання (742 із 1 437), блокують також принаймні один AI-пошуковий або користувацький краулер.
- Лише 11,2% (695) обирають вибірковий шлях: блокують краулери для навчання і дозволяють усі AI-пошукові та користувацькі краулери.
- 6,5% (401) заявляють свої уподобання щодо AI через
Content-Signal. - 12,4% усіх 10 000 доменів (1 240) публікують
llms.txt. - Для порівняння: 2,0% (124) блокують
Googlebotна головній сторінці.
Які краулери блокують найчастіше?
Частка з 6 192 доменів, чий robots.txt забороняє краулеру головну сторінку:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% — найчастіше блокований AI-пошуковий краулер, передOAI-SearchBot7,0% іClaude-SearchBot7,0%.- Краулери, що відкривають сторінку, коли про неї питає людина:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Чи більші сайти блокують більше?
Так, і вони частіше плутають навчання з пошуком. Ми розділили список за рангом:
- Ранги від 1 до 1 000 (560 доменів із robots.txt): 28,6% блокують навчання, 18,6% блокують AI-пошук, а 63,1% тих, хто блокує навчання, блокують і AI-пошук.
- Ранги від 1 001 до 3 000 (1 256 доменів): 23,5%, 13,5% і 55,6%.
- Ранги від 3 001 до 10 000 (4 376 доменів): 22,4%, 11,2% і 48,6%.
Вибірковий шлях рідкісний за будь-якого розміру: 10,5%, 10,4% і 11,5% доменів у трьох групах.
Чи щось змінилося з нашого звіту від 12 листопада?
Ми повторно перевірили перші 1000 доменів за тим самим списком. Результат стабільний із точністю приблизно до одного пункту: 28,6% блокують навчання (29,9% 12 листопада), 18,6% блокують AI-пошук (19,5%), а 63,1% тих, хто блокує навчання, блокують і AI-пошук (63,2%). Знаменники трохи відрізняються (тепер 560 доменів із robots.txt, тоді було 518), бо цього разу ми перед завантаженням переходимо за редиректом домену на його головний хост.
Що це означає для вашого robots.txt?
Більшість AI-компаній документують окремі краулери для навчання і для пошуку та заявляють, що ці налаштування незалежні. Заборона GPTBot не зачіпає OAI-SearchBot, а заборона ClaudeBot не зачіпає Claude-SearchBot. Якщо ви хочете відмовитися від навчання й усе одно бути процитованими, заблокуйте токени для навчання, дозвольте пошукові та користувацькі токени й повторіть приватні шляхи в кожній групі, адже названа група нічого не успадковує від *.
Наскільки надійні ці цифри?
Це правила robots.txt для головної сторінки, прочитані одним парсером за один день. Вони не вимірюють блокування фаєрволом, яке може відмовити краулеру, якому robots.txt дозволяє доступ. Вони не можуть показати, що мав на увазі кожен сайт, а список Tranco містить домени, які не обслуговують жодного сайту. Правило, що блокує пошуковий краулер, — не доказ помилки, а лише вибір, який часто роблять, не знаючи різниці. Ви можете цитувати ці цифри з посиланням на цю сторінку.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка й валідатор llms.txt
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Яка частка популярних сайтів блокує AI-краулери?
Серед 6 192 доменів топ-10 000 Tranco, що віддають robots.txt, 23,2% блокують принаймні один AI-краулер для навчання, а 12,3% — принаймні один AI-пошуковий або користувацький краулер.
Чи сайти, що блокують AI-навчання, блокують і AI-пошук?
Часто. 51,6% сайтів, що блокують краулер для навчання, блокують також принаймні один AI-пошуковий або користувацький краулер, хоча вендори документують їх як окремі краулери з незалежними налаштуваннями.
Який AI-краулер блокують найчастіше?
Серед краулерів для навчання — Bytespider (18,7%) і CCBot (18,5%), далі GPTBot (17,4%). Серед AI-пошукових краулерів найчастіше блокують PerplexityBot, на 10,4% доменів.
Чому цифри відрізняються від вашого звіту про 1000 сайтів?
Перші 1000 доменів дають майже такі самі відсотки (28,6% і 18,6% проти 29,9% і 19,5%). Цифри для 10 000 сайтів нижчі, бо менші сайти блокують менше.
Джерела
- AISeeWhy: Звіт про доступ AI-краулерів, 2026-11
- Tranco: рейтинг топ-сайтів для досліджень
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Огляд краулерів OpenAI
- Anthropic: Чи сканує Anthropic дані з вебу і як власники сайтів можуть заблокувати краулер?
- Perplexity: Краулери Perplexity