Ми прочитали robots.txt 10 000 найпопулярніших сайтів. Ось що вони роблять щодо AI-краулерів

Опубліковано

Коротка відповідь

Із 6 192 доменів топ-10 000 Tranco, що віддають robots.txt, 23,2% блокують принаймні один AI-краулер для навчання, а 12,3% — принаймні один AI-пошуковий або користувацький краулер. 51,6% сайтів, що блокують навчання, блокують і AI-пошук. Лише 11,2% відмовляються від навчання, дозволяючи всі AI-пошукові краулери.

У листопаді ми прочитали robots.txt 1000 найпопулярніших доменів. Цього разу ми прочитали 10 000 за тією самою методикою й додатково перевірили, як змінюється картина в менших сайтів. Головний висновок підтверджується: блокування навчання і блокування пошуку сприймають як одне рішення, хоча це два різні рішення.

На цій сторінці
  1. Як ми вимірювали?
  2. Що ми виявили?
  3. Які краулери блокують найчастіше?
  4. Чи більші сайти блокують більше?
  5. Чи щось змінилося з нашого звіту від 12 листопада?
  6. Що це означає для вашого robots.txt?
  7. Наскільки надійні ці цифри?

Як ми вимірювали?

Ми взяли топ-10 000 доменів зі списку Tranco (ID списку JZWZY) і 21 листопада 2026 року один раз завантажили для кожного домену головну сторінку, robots.txt і llms.txt із власним user agent AISeeWhy. Кожен robots.txt ми оцінювали за RFC 9309 для головної сторінки (/) і для 16 AI-краулерів та пошукових краулерів.

6 192 із 10 000 доменів віддали robots.txt (успішна відповідь, що не є HTML-сторінкою). 1 121 відповів кодом 4xx, що означає відсутність правил і дозвіл для всіх краулерів, а 2 687 не віддали його (немає HTTPS-сайту, помилки, тайм-аути або замість файлу HTML-сторінка). Усі відсотки нижче розраховано від 6 192. У списку є CDN та API, які не обслуговують жодного сайту.

Що ми виявили?

Які краулери блокують найчастіше?

Частка з 6 192 доменів, чий robots.txt забороняє краулеру головну сторінку:

Чи більші сайти блокують більше?

Так, і вони частіше плутають навчання з пошуком. Ми розділили список за рангом:

Вибірковий шлях рідкісний за будь-якого розміру: 10,5%, 10,4% і 11,5% доменів у трьох групах.

Чи щось змінилося з нашого звіту від 12 листопада?

Ми повторно перевірили перші 1000 доменів за тим самим списком. Результат стабільний із точністю приблизно до одного пункту: 28,6% блокують навчання (29,9% 12 листопада), 18,6% блокують AI-пошук (19,5%), а 63,1% тих, хто блокує навчання, блокують і AI-пошук (63,2%). Знаменники трохи відрізняються (тепер 560 доменів із robots.txt, тоді було 518), бо цього разу ми перед завантаженням переходимо за редиректом домену на його головний хост.

Що це означає для вашого robots.txt?

Більшість AI-компаній документують окремі краулери для навчання і для пошуку та заявляють, що ці налаштування незалежні. Заборона GPTBot не зачіпає OAI-SearchBot, а заборона ClaudeBot не зачіпає Claude-SearchBot. Якщо ви хочете відмовитися від навчання й усе одно бути процитованими, заблокуйте токени для навчання, дозвольте пошукові та користувацькі токени й повторіть приватні шляхи в кожній групі, адже названа група нічого не успадковує від *.

Наскільки надійні ці цифри?

Це правила robots.txt для головної сторінки, прочитані одним парсером за один день. Вони не вимірюють блокування фаєрволом, яке може відмовити краулеру, якому robots.txt дозволяє доступ. Вони не можуть показати, що мав на увазі кожен сайт, а список Tranco містить домени, які не обслуговують жодного сайту. Правило, що блокує пошуковий краулер, — не доказ помилки, а лише вибір, який часто роблять, не знаючи різниці. Ви можете цитувати ці цифри з посиланням на цю сторінку.

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Яка частка популярних сайтів блокує AI-краулери?

Серед 6 192 доменів топ-10 000 Tranco, що віддають robots.txt, 23,2% блокують принаймні один AI-краулер для навчання, а 12,3% — принаймні один AI-пошуковий або користувацький краулер.

Чи сайти, що блокують AI-навчання, блокують і AI-пошук?

Часто. 51,6% сайтів, що блокують краулер для навчання, блокують також принаймні один AI-пошуковий або користувацький краулер, хоча вендори документують їх як окремі краулери з незалежними налаштуваннями.

Який AI-краулер блокують найчастіше?

Серед краулерів для навчання — Bytespider (18,7%) і CCBot (18,5%), далі GPTBot (17,4%). Серед AI-пошукових краулерів найчастіше блокують PerplexityBot, на 10,4% доменів.

Чому цифри відрізняються від вашого звіту про 1000 сайтів?

Перші 1000 доменів дають майже такі самі відсотки (28,6% і 18,6% проти 29,9% і 19,5%). Цифри для 10 000 сайтів нижчі, бо менші сайти блокують менше.

Джерела

Інші статті