Четыре из десяти бизнес-сайтов не пускают AI-краулеры

Опубликовано

Короткий ответ

В наших аудитах 165 бизнес-сайтов в США, Великобритании и Франции 38% отказали на уровне сервера хотя бы одному AI-краулеру, почти всегда боту для обучения или сбора данных. Примерно каждый десятый сайт отказал и AI-поисковому краулеру, такому как PerplexityBot или OAI-SearchBot: именно они могут привести к цитированию. Проверьте свой сайт одним запросом на каждый краулер.

Вы спрашиваете ChatGPT о собственном продукте, и он называет конкурента, сайт с отзывами и ветку на форуме. Иногда дело в содержании. Но часто это файрвол отвечает AI-краулерам отказом, а в вашей команде никто этого не видел, потому что в браузере сайт работает.

На этой странице
  1. Что мы проверяли?
  2. Что мы выяснили?
  3. Почему так происходит и когда это осознанный выбор?
  4. У крупнейших сайтов дела обстоят лучше?
  5. Как проверить свой сайт за десять минут?
  6. Насколько надёжны эти цифры?

Что мы проверяли?

Мы запрашиваем страницу несколько раз с одного и того же адреса: один раз как обычный браузер и по одному разу как каждый из 14 AI- и поисковых краулеров, включая GPTBot, OAI-SearchBot и ChatGPT-User от OpenAI, ClaudeBot и Claude-SearchBot от Anthropic и PerplexityBot от Perplexity. Если браузер получает страницу, а краулер получает 401, 403, 406, 429, 451, 503 или страницу-проверку, сайт не пускает этот краулер.

Выборка — 218 бизнес-сайтов в США, Великобритании и Франции, аудит проходил с 18 по 21 ноября 2026 года. Полную проверку удалось выполнить для 165 из них. Остальные 53 отказали даже на наш обычный запрос из браузера или не ответили, и мы исключили их, а не гадали.

Что мы выяснили?

Почему так происходит и когда это осознанный выбор?

Многое из этого, вероятно, сделано намеренно. Многие владельцы не хотят, чтобы их материалы использовались для обучения моделей, а настройки защиты от ботов, блокирующие сборщиков данных, включаются легко. Это разумный выбор.

Проблема в том, что AI-компании используют разные краулеры для обучения и для поиска. Чтобы закрыть краулер для обучения, не нужно блокировать поисковый, а именно поисковый краулер может привести к тому, что вашу страницу процитируют в ответе.

У крупнейших сайтов дела обстоят лучше?

Не особенно. В нашем отчёте по robots.txt для 1000 самых популярных доменов 29,9% сайтов с файлом robots.txt блокируют хотя бы одного AI-краулера для обучения, а 63,2% из них блокируют ещё и хотя бы одного AI-поискового краулера или краулера пользовательских запросов. Только 11,0% блокируют обучение, но разрешают всех AI-поисковых краулеров, и именно такую настройку, скорее всего, хотело большинство.

Как проверить свой сайт за десять минут?

  1. Откройте yoursite.com/robots.txt. Для каждого интересующего вас AI-краулера посмотрите, назван ли он в какой-либо группе и что в ней написано. Группа, где назван краулер, полностью заменяет общую группу *.
  2. Проверяйте, что делает сервер, а не что написано в файле. Запросите свою ключевую страницу как браузер и как краулер. Код 403, 429, страница с заголовком Just a moment... или ответ, намного меньший, чем у браузера, — признаки блокировки файрволом.
  3. Спросите ассистента. С включённым поиском задайте ChatGPT или Perplexity вопросы, которые задают ваши покупатели, и посмотрите, какие сайты он цитирует. Если доступ в порядке, а вас всё равно нет, проблема в содержании, а не в доступе.

Насколько надёжны эти цифры?

Считайте их закономерностью, а не переписью. Выборка не случайна: это компании, найденные через библиотеки рекламы, сайты вакансий и карточки на картах. Мы проверяем по user agent с одного адреса, а настоящие краулеры приходят с адресов, которые публикуют их владельцы, поэтому некоторые файрволы обращаются с настоящими иначе. И блокировка не всегда ошибка.

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Какая доля сайтов блокирует AI-краулеры?

В нашем аудите 165 проверяемых бизнес-сайтов 38% отказали на уровне сервера хотя бы одному AI-краулеру, в основном ботам для обучения и сбора данных. Примерно 10% отказали ещё и AI-поисковому краулеру.

Закрывает ли блокировка GPTBot мой сайт для поиска ChatGPT?

Нет. OpenAI сообщает, что каждая настройка robots.txt для её краулеров независима: GPTBot относится к обучению, OAI-SearchBot — к поиску ChatGPT. Блокировка одного не блокирует другой.

Как сайт может заблокировать краулер без robots.txt?

Правило файрвола, CDN или защиты от ботов может ответить краулеру кодом 403, 429 или страницей-проверкой. В robots.txt этого не видно, поэтому нужно проверять, запрашивая страницу как краулер.

Всегда ли отказ краулеру — ошибка?

Нет. Многие владельцы хотят не пускать краулеры для обучения и сборщики данных. Ошибка — случайно заблокировать поисковые краулеры, ведь именно они могут процитировать вашу страницу.

Источники

Другие статьи