Claude-User
Claude-User заходит на сайт, когда пользователь Claude задаёт вопрос, для которого это нужно, например чтобы прочитать присланную ссылку. Anthropic сообщает, что её боты соблюдают robots.txt и что блокировка Claude-User не позволяет получать ваш контент в ответ на запросы пользователей, что может снизить видимость в веб-поиске по запросу пользователя.
Что он делает
Anthropic использует Claude-User для поддержки пользователей Claude: когда человек задаёт Claude вопрос, он может открыть сайт, чтобы ответить. Это отдельные загрузки от имени пользователя, а не общий обход.
В отличие от OpenAI и Perplexity, которые сообщают, что их загрузчики по запросу пользователя могут не соблюдать robots.txt, Anthropic заявляет, что её боты соблюдают директивы robots.txt, и описывает блокировку Claude-User именно там. Так Claude не сможет получать ваши страницы, когда пользователи спрашивают о них.
В нашем исследовании за 2026-11 13.1% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
Claude-User
Как его разрешить
User-agent: Claude-User
Allow: /Как его заблокировать
User-agent: Claude-User
Disallow: /Как проверить настоящие визиты
Anthropic публикует IP-адреса своих краулеров по адресу claude.com/crawling/bots.json и сообщает, что краулер, чей IP есть в этом списке, принадлежит Anthropic. Сверяйте исходный IP со списком, а не доверяйте user agent. Anthropic не советует отказываться через блокировку по IP, потому что тогда краулер не сможет прочитать и robots.txt.
Проверьте, пускает ли его ваш сайт →
Краулеры Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →