Генератор robots.txt для AI-краулеров
Выберите, каким AI-краулерам можно читать ваш сайт, и скопируйте готовый robots.txt. Часто выбирают такой вариант: заблокировать AI-краулеры для обучения, например GPTBot и ClaudeBot, но разрешить AI-поисковые краулеры, например OAI-SearchBot и PerplexityBot, чтобы ваши страницы по-прежнему могли появляться и цитироваться в AI-ответах.
Блокировка загрузчиков по запросу пользователя даёт ограниченный эффект: некоторые поставщики сообщают, что такие агенты могут не соблюдать robots.txt, поскольку страницу запросил человек. Перед публикацией проверьте результат инструментом проверки robots.txt. Проверка robots.txt для AI-краулеров →
Как использовать
Разместите файл в корне домена (https://example.com/robots.txt). Если у вас уже есть правила для других краулеров, сохраните их и добавьте только группы для AI. Изменения вступают в силу при следующем чтении файла каждым краулером, обычно в течение суток.