Проверка robots.txt для AI-краулеров

Введите адрес страницы: мы прочитаем robots.txt сайта и покажем для каждого AI-краулера и поискового бота, может ли он загрузить эту страницу. Или вставьте robots.txt, чтобы проверить его до публикации.

robots.txt — это лишь просьба. Файрвол или защита от ботов всё равно может заблокировать краулер, которому robots.txt разрешает доступ; полная проверка это тестирует. Запустить полную проверку →

Как AI-краулеры читают robots.txt

Каждый краулер следует группе, в которой назван его токен (например, GPTBot или PerplexityBot); только если такой группы нет, он следует User-agent: *. Внутри группы побеждает самое длинное совпавшее правило, а при равенстве побеждает Allow. Блокировка обучающих краулеров, таких как GPTBot, ClaudeBot или Google-Extended, исключает ваш контент из обучения моделей; блокировка поисковых и пользовательских краулеров, таких как OAI-SearchBot, ChatGPT-User или PerplexityBot, исключает ваши страницы из ответов AI.