Как проверить, блокирует ли сайт AI-краулеры

Вставьте любой адрес и узнайте, блокирует ли сайт GPTBot, ClaudeBot, PerplexityBot и других AI-краулеров: в robots.txt, в файрволе или в обоих местах.

Бесплатно · Без регистрации · Результат за 30 секунд

Какие краулеры заблокированы

Краулеры для обучения, поиска и запросов пользователей показаны отдельно: блокировка GPTBot не блокирует OAI-SearchBot, а блокировка ClaudeBot не блокирует Claude-SearchBot.

Строка, которая решает

Для каждого краулера robots.txt читается по правилам RFC 9309: берётся группа с его именем или User-agent: *, если такой группы нет, и определяется правило, которое действует.

Отказы файрвола

Страница запрашивается как 14 краулеров и как обычный браузер. Блокировки и страницы-проверки отмечаются, а файрвол, который ответил, называется.

Решение для каждой находки

К каждой находке прилагается нужное изменение. Бесплатная проверка показывает ваш балл и первую находку; полный отчёт стоит $29, единоразово.

Короткий ответ

Сайт может блокировать AI-краулеры в двух местах: в robots.txt, который просит краулеры не заходить, и на сервере или в файрволе, которые действительно им отказывают. Найдите в robots.txt правила для токена каждого краулера, а если их нет, для User-agent: *, затем загрузите страницу от имени краулера и сравните с браузером. Расширение для браузера выполняет часть с robots.txt для 16 AI-краулеров в один клик.

Проверка вручную за 3 шага

  1. Выберите краулер

    У каждой AI-компании есть отдельные краулеры. Для обучения: GPTBot, ClaudeBot. Для поиска: OAI-SearchBot, Claude-SearchBot, PerplexityBot. По запросу пользователя: ChatGPT-User, Claude-User, Perplexity-User.

  2. Прочитайте для него robots.txt

    Откройте https://example.com/robots.txt и найдите группу с именем краулера. Если такой группы нет, действует группа User-agent: *; если нет и её, разрешено всё.

  3. Загрузите страницу как краулер

    Запросите страницу с user agent краулера и сравните статус и размер ответа с ответом браузера. Код 403, страница-проверка или заметно меньший по размеру ответ 200 означают, что файрвол отказывает краулеру.

Частые вопросы

Открыт ли сайт без robots.txt для AI-краулеров?

Да, если говорить о robots.txt. Ответ 404 на запрос robots.txt означает, что правил нет, поэтому любой краулер может загружать любую страницу. Файрвол при этом всё равно может блокировать краулеры.

Показывает ли расширение блокировки файрвола?

Нет. Оно читает robots.txt из вашего браузера, а это показывает, о чём сайт просит краулеры. Для блокировок файрвола и защиты от ботов нужен запрос, отправленный от имени краулера, и это делает полная проверка на aiseewhy.com.

Можно ли проверить чужой сайт?

Да. robots.txt публичен, а расширение читает только файлы robots.txt и llms.txt, которые публикует сайт, те же файлы, что читает любой краулер.

Читать полное руководство

Проверяете ли вы свой сайт после изменений или смотрите на чужой, прежде чем на него полагаться, у вопроса «блокирует ли этот сайт AI-краулеры?» есть точный ответ. Он зависит от того, о каком краулере речь: AI-компании используют отдельные краулеры для обучения, для поиска и для визитов по запросу, и сайт может обращаться с каждым по-разному. В этом руководстве три проверки, от самой быстрой до самой полной.

Где сайт может блокировать AI-краулеры

Слоёв три, и краулер должен пройти все, чтобы использовать страницу.

  • robots.txt: публичный файл с правилами, который добросовестные краулеры читают, прежде чем что-то загрузить. Это просьба, а не замок.
  • Сервер, CDN или файрвол: они решают, что на самом деле вернётся в ответ. Правило защиты от ботов может ответить краулеру кодом 403, 429 или страницей-проверкой, даже если robots.txt его разрешает.
  • Сама страница: если основной текст появляется только после выполнения JavaScript, краулер, который читает исходный HTML, получает почти пустую страницу, хотя его ничто не блокировало.

Большинство быстрых проверок смотрит только на первый слой. Это хорошее начало, если помнить о двух остальных.

Как прочитать robots.txt для одного AI-краулера

Откройте https://example.com/robots.txt в браузере и найдите группу, которая относится к краулеру. Группа начинается с одной или нескольких строк User-agent. Краулер использует группу, где указан его токен, например GPTBot; регистр при сопоставлении не учитывается. Если ни одна группа его не называет, он использует группу User-agent: *. Если нет ни той, ни другой, разрешено всё.

Внутри группы побеждает правило с самым длинным подходящим путём, а когда Allow и Disallow одинаковой длины, побеждает Allow. Поэтому файл ниже закрывает для GPTBot весь сайт, но пускает все остальные краулеры:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Посмотрите и на то, как отвечает сам файл. По RFC 9309 ответ 404 означает, что правил нет, значит, разрешено всё. Ошибка сервера (5xx) или отсутствие ответа означает, что краулер должен считать закрытым весь сайт. Частая ошибка — когда по адресу robots.txt отдаётся HTML-страница: корректных правил краулеры в ней не находят.

Как проверить все AI-краулеры сразу

Читать файл вручную становится долго, как только вам важен больше чем один краулер. У каждой AI-компании их несколько, с разными задачами:

  • Краулеры обучения собирают контент для обучения моделей: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, а также токены Google-Extended и Applebot-Extended, которые встречаются только в robots.txt.
  • Поисковые краулеры индексируют страницы, чтобы AI-ответы могли на них ссылаться: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Пользовательские краулеры загружают страницу, когда человек просит об этом ассистента: ChatGPT-User, Claude-User, Perplexity-User.

Бесплатное расширение для Chrome «Проверка ИИ-краулеров» делает это в один клик. Откройте любую страницу, нажмите на значок, и оно прочитает robots.txt этого сайта и покажет для каждого из 16 краулеров, разрешена ли страница и какая строка это определяет. Ещё оно показывает настройки Content-Signal, есть ли на сайте llms.txt и какие карты сайта указаны в robots.txt. Расширение работает в вашем браузере, не требует аккаунта и читает только тот сайт, на котором вы его нажали.

Без Chrome бесплатная проверка robots.txt на aiseewhy.com даёт тот же ответ для вставленного URL.

Как проверить, пропускает ли их файрвол

robots.txt показывает, о чём просит сайт. Чтобы увидеть, что краулер получает на самом деле, запросите страницу дважды, один раз как браузер и один раз с user agent краулера, и сравните код ответа и размер ответа:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Если браузер получает 200, а краулер получает 403, 429 или 503 либо заметно меньшую страницу, файрвол или защита от ботов обращается с краулером иначе. У любой внешней проверки есть одно ограничение: запрос идёт из вашей сети, а не из сети AI-компании. Файрвол, который доверяет краулерам по их опубликованным IP-адресам, может обращаться с настоящим краулером иначе, поэтому последнее слово за логами вашего сервера.

Полная проверка на aiseewhy.com загружает страницу от имени всех 16 краулеров рядом с настоящим браузером, называет файрвол или правило, которое блокирует краулер, и сравнивает текст, полученный каждым из них.

К какому результату стремиться

Это зависит от того, чего вы хотите. Если вы хотите, чтобы вас цитировали в поиске ChatGPT, Claude и Perplexity, поисковые и пользовательские краулеры должны быть разрешены в robots.txt и получать от сервера настоящую страницу. Если вы не хотите, чтобы ваш контент использовался для обучения, блокируйте только токены обучения. Это отдельные решения: блокировка GPTBot не блокирует OAI-SearchBot, а блокировка ClaudeBot не блокирует Claude-SearchBot.

Многие сайты их путают. В нашем отчёте за ноябрь 2026 года о 1000 самых популярных доменов 63% сайтов, которые блокируют краулер обучения, блокируют и хотя бы один поисковый или пользовательский AI-краулер, и их страницы не попадают в эти AI-ответы.

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Источники

Другие статьи

Опубликовано