Четыре из десяти бизнес-сайтов не пускают AI-краулеры
В наших аудитах 165 бизнес-сайтов в США, Великобритании и Франции 38% отказали на уровне сервера хотя бы одному AI-краулеру, почти всегда боту для обучения или сбора данных. Примерно каждый десятый сайт отказал и AI-поисковому краулеру, такому как PerplexityBot или OAI-SearchBot: именно они могут привести к цитированию. Проверьте свой сайт одним запросом на каждый краулер.
Вы спрашиваете ChatGPT о собственном продукте, и он называет конкурента, сайт с отзывами и ветку на форуме. Иногда дело в содержании. Но часто это файрвол отвечает AI-краулерам отказом, а в вашей команде никто этого не видел, потому что в браузере сайт работает.
На этой странице
Что мы проверяли?
Мы запрашиваем страницу несколько раз с одного и того же адреса: один раз как обычный браузер и по одному разу как каждый из 14 AI- и поисковых краулеров, включая GPTBot, OAI-SearchBot и ChatGPT-User от OpenAI, ClaudeBot и Claude-SearchBot от Anthropic и PerplexityBot от Perplexity. Если браузер получает страницу, а краулер получает 401, 403, 406, 429, 451, 503 или страницу-проверку, сайт не пускает этот краулер.
Выборка — 218 бизнес-сайтов в США, Великобритании и Франции, аудит проходил с 18 по 21 ноября 2026 года. Полную проверку удалось выполнить для 165 из них. Остальные 53 отказали даже на наш обычный запрос из браузера или не ответили, и мы исключили их, а не гадали.
Что мы выяснили?
- 38% проверяемых сайтов (63 из 165) не пустили хотя бы одного AI-краулера.
- Каждый из этих сайтов отказал хотя бы одному краулеру для обучения или сбора данных.
Bytespiderне пустили 35% всех сайтов,ClaudeBot— 13%,GPTBot— 11%. - 10% сайтов (16) отказали ещё и хотя бы одному AI-поисковому краулеру, а 5% (8) не пустили краулер, который открывает страницу в реальном времени, когда человек спрашивает о ней ассистента.
- Среди поисковых краулеров чаще всего отказывали
PerplexityBot(11 сайтов) иOAI-SearchBot(5 сайтов). - За 32 из 66 сайтов, не пустивших хотя бы один проверенный нами краулер, стоял Cloudflare. Ещё для 30 мы не смогли определить, какой файрвол дал ответ.
Почему так происходит и когда это осознанный выбор?
Многое из этого, вероятно, сделано намеренно. Многие владельцы не хотят, чтобы их материалы использовались для обучения моделей, а настройки защиты от ботов, блокирующие сборщиков данных, включаются легко. Это разумный выбор.
Проблема в том, что AI-компании используют разные краулеры для обучения и для поиска. Чтобы закрыть краулер для обучения, не нужно блокировать поисковый, а именно поисковый краулер может привести к тому, что вашу страницу процитируют в ответе.
У крупнейших сайтов дела обстоят лучше?
Не особенно. В нашем отчёте по robots.txt для 1000 самых популярных доменов 29,9% сайтов с файлом robots.txt блокируют хотя бы одного AI-краулера для обучения, а 63,2% из них блокируют ещё и хотя бы одного AI-поискового краулера или краулера пользовательских запросов. Только 11,0% блокируют обучение, но разрешают всех AI-поисковых краулеров, и именно такую настройку, скорее всего, хотело большинство.
Как проверить свой сайт за десять минут?
- Откройте
yoursite.com/robots.txt. Для каждого интересующего вас AI-краулера посмотрите, назван ли он в какой-либо группе и что в ней написано. Группа, где назван краулер, полностью заменяет общую группу*. - Проверяйте, что делает сервер, а не что написано в файле. Запросите свою ключевую страницу как браузер и как краулер. Код 403, 429, страница с заголовком
Just a moment...или ответ, намного меньший, чем у браузера, — признаки блокировки файрволом. - Спросите ассистента. С включённым поиском задайте ChatGPT или Perplexity вопросы, которые задают ваши покупатели, и посмотрите, какие сайты он цитирует. Если доступ в порядке, а вас всё равно нет, проблема в содержании, а не в доступе.
Насколько надёжны эти цифры?
Считайте их закономерностью, а не переписью. Выборка не случайна: это компании, найденные через библиотеки рекламы, сайты вакансий и карточки на картах. Мы проверяем по user agent с одного адреса, а настоящие краулеры приходят с адресов, которые публикуют их владельцы, поэтому некоторые файрволы обращаются с настоящими иначе. И блокировка не всегда ошибка.
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Краулеры в этой статье
Частые вопросы
Какая доля сайтов блокирует AI-краулеры?
В нашем аудите 165 проверяемых бизнес-сайтов 38% отказали на уровне сервера хотя бы одному AI-краулеру, в основном ботам для обучения и сбора данных. Примерно 10% отказали ещё и AI-поисковому краулеру.
Закрывает ли блокировка GPTBot мой сайт для поиска ChatGPT?
Нет. OpenAI сообщает, что каждая настройка robots.txt для её краулеров независима: GPTBot относится к обучению, OAI-SearchBot — к поиску ChatGPT. Блокировка одного не блокирует другой.
Как сайт может заблокировать краулер без robots.txt?
Правило файрвола, CDN или защиты от ботов может ответить краулеру кодом 403, 429 или страницей-проверкой. В robots.txt этого не видно, поэтому нужно проверять, запрашивая страницу как краулер.
Всегда ли отказ краулеру — ошибка?
Нет. Многие владельцы хотят не пускать краулеры для обучения и сборщики данных. Ошибка — случайно заблокировать поисковые краулеры, ведь именно они могут процитировать вашу страницу.
Источники
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)