ClaudeBot
ClaudeBot — краулер Anthropic для веб-контента, который может использоваться для обучения её генеративных моделей. Запрет в robots.txt сообщает, что будущий контент вашего сайта следует исключить из обучения. Одна эта блокировка не останавливает Claude-SearchBot и Claude-User, которые обслуживают поиск и ответы в реальном времени.
Что он делает
Anthropic сообщает, что ClaudeBot собирает веб-контент, который может участвовать в обучении её моделей, чтобы повысить их полезность и безопасность. Запрет для ClaudeBot означает, что будущие материалы вашего сайта следует исключить из обучающих наборов данных.
Anthropic также поддерживает нестандартную директиву Crawl-delay, поэтому ClaudeBot можно замедлить, а не блокировать. Правила в robots.txt, где назван ClaudeBot, имеют приоритет над общим сигналом Anthropic об отказе от обучения AI. Правила robots.txt действуют для каждого хоста отдельно, поэтому добавьте их на каждый поддомен, который хотите охватить.
В нашем исследовании за 2026-11 21.2% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
ClaudeBot
Как его разрешить
User-agent: ClaudeBot
Allow: /Как его заблокировать
User-agent: ClaudeBot
Disallow: /Как проверить настоящие визиты
Anthropic публикует IP-адреса своих краулеров по адресу claude.com/crawling/bots.json и сообщает, что краулер, чей IP есть в этом списке, принадлежит Anthropic. Сверяйте исходный IP со списком, а не доверяйте user agent. Anthropic не советует отказываться через блокировку по IP, потому что тогда краулер не сможет прочитать и robots.txt.
Проверьте, пускает ли его ваш сайт →
Краулеры Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →