Мы прочитали robots.txt 10 000 самых популярных сайтов. Вот что они делают с AI-краулерами
Из 6192 доменов топ-10 000 Tranco, у которых есть robots.txt, 23,2% блокируют хотя бы одного AI-краулера для обучения и 12,3% блокируют хотя бы одного AI-поискового краулера или краулера пользовательских запросов. 51,6% сайтов, блокирующих обучение, блокируют и AI-поиск. Только 11,2% отказываются от обучения, но разрешают всех AI-поисковых краулеров.
В ноябре мы прочитали robots.txt 1000 самых популярных доменов. Теперь мы прочитали 10 000 по той же методике и добавили проверку того, как картина меняется для менее крупных сайтов. Главный вывод сохраняется: блокировку обучения и блокировку поиска считают одним решением, хотя это два разных решения.
На этой странице
Как мы это измеряли?
Мы взяли 10 000 первых доменов списка Tranco (ID списка JZWZY) и 21 ноября 2026 года по одному разу загрузили главную страницу, robots.txt и llms.txt каждого домена с собственным user agent AISeeWhy. Каждый robots.txt мы оценивали по RFC 9309 для главной страницы (/) и для 16 AI- и поисковых краулеров.
У 6192 из 10 000 доменов нашёлся robots.txt (успешный ответ, который не является HTML-страницей). 1121 домен ответил кодом 4xx, что означает отсутствие правил и разрешение для всех краулеров, а 2687 доменов robots.txt не отдали (нет HTTPS-сайта, ошибки, тайм-ауты или вместо файла HTML-страница). Все проценты ниже даны от 6192. В списке есть CDN и API, у которых нет сайта.
Что мы выяснили?
- 23,2% (1437 доменов) блокируют хотя бы одного AI-краулера для обучения.
- 12,3% (762) блокируют хотя бы одного AI-поискового краулера или краулера пользовательских запросов, то есть их страницы не должны использоваться и цитироваться в ответах, которые на них опираются.
- 51,6% доменов, блокирующих краулер для обучения (742 из 1437), блокируют и хотя бы одного AI-поискового краулера или краулера пользовательских запросов.
- Только 11,2% (695) выбирают избирательный путь: блокируют краулеры для обучения и разрешают всех AI-поисковых краулеров и краулеров пользовательских запросов.
- 6,5% (401) указывают свои предпочтения по AI через
Content-Signal. - 12,4% всех 10 000 доменов (1240) публикуют
llms.txt. - Для сравнения: 2,0% (124) блокируют
Googlebotна главной странице.
Каких краулеров блокируют чаще всего?
Доля из 6192 доменов, чей robots.txt запрещает краулеру главную страницу:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBotс 10,4% — AI-поисковый краулер, который блокируют чаще всего, дальше идутOAI-SearchBotс 7,0% иClaude-SearchBotс 7,0%.- Краулеры, которые открывают страницу, когда об этом просит человек:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Крупные сайты блокируют больше?
Да, и они чаще смешивают обучение и поиск. Мы разделили список по позиции в рейтинге:
- Позиции с 1 по 1000 (560 доменов с robots.txt): 28,6% блокируют обучение, 18,6% блокируют AI-поиск, и 63,1% из блокирующих обучение блокируют и AI-поиск.
- Позиции с 1001 по 3000 (1256 доменов): 23,5%, 13,5% и 55,6%.
- Позиции с 3001 по 10 000 (4376 домена): 22,4%, 11,2% и 48,6%.
Избирательный путь редок при любом размере сайта: 10,5%, 10,4% и 11,5% доменов в трёх группах.
Что-нибудь изменилось с нашего отчёта от 12 ноября?
Мы заново прогнали первые 1000 доменов по тому же списку. Результат стабилен с точностью около одного пункта: 28,6% блокируют обучение (29,9% 12 ноября), 18,6% блокируют AI-поиск (19,5%), и 63,1% из блокирующих обучение блокируют и AI-поиск (63,2%). Знаменатели немного отличаются (сейчас 560 доменов с robots.txt, тогда 518), потому что в этот раз перед загрузкой мы переходим по редиректу домена на его основной хост.
Что это значит для вашего robots.txt?
Большинство AI-компаний описывают отдельных краулеров для обучения и для поиска и заявляют, что их настройки независимы. Запрет GPTBot не затрагивает OAI-SearchBot, а запрет ClaudeBot не затрагивает Claude-SearchBot. Если вы хотите отказаться от обучения, но оставаться в цитатах, блокируйте токены для обучения и разрешайте поисковые токены и токены пользовательских запросов. Любые закрытые пути повторите в каждой группе, потому что именованная группа не наследует правила от *.
Насколько надёжны эти цифры?
Это правила robots.txt для главной страницы, прочитанные одним парсером за один день. Они не измеряют блокировки на уровне файрвола, который может отказать краулеру, которого robots.txt разрешает. Они не показывают, что имел в виду каждый сайт, а список Tranco включает домены, у которых нет сайта. Правило, блокирующее поискового краулера, не доказывает ошибку, а лишь говорит о выборе, который часто делают, не зная разницы. Вы можете цитировать эти цифры со ссылкой на эту страницу.
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Проверка и валидатор llms.txt
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Краулеры в этой статье
Частые вопросы
Какая доля популярных сайтов блокирует AI-краулеры?
Среди 6192 доменов топ-10 000 Tranco, у которых есть robots.txt, 23,2% блокируют хотя бы одного AI-краулера для обучения и 12,3% блокируют хотя бы одного AI-поискового краулера или краулера пользовательских запросов.
Сайты, которые блокируют AI-обучение, блокируют и AI-поиск?
Часто. 51,6% сайтов, блокирующих краулер для обучения, блокируют и хотя бы одного AI-поискового краулера или краулера пользовательских запросов, хотя вендоры описывают их как отдельных краулеров с независимыми настройками.
Какого AI-краулера блокируют чаще всего?
Среди краулеров для обучения это Bytespider (18,7%) и CCBot (18,5%), затем GPTBot (17,4%). Среди AI-поисковых краулеров чаще всего блокируют PerplexityBot: на 10,4% доменов.
Почему цифры отличаются от вашего отчёта по 1000 сайтам?
Первые 1000 доменов дают почти те же проценты (28,6% и 18,6% против 29,9% и 19,5%). Показатели по 10 000 сайтов ниже, потому что менее крупные сайты блокируют меньше.
Источники
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers