Claude-SearchBot
Claude-SearchBot обходит сеть, чтобы повысить релевантность и точность результатов поиска в Claude. Anthropic сообщает, что его блокировка не позволяет индексировать ваш контент для поиска, что может снизить вашу видимость и точность в результатах поиска пользователей. Разрешите его, если хотите, чтобы Claude находил и цитировал ваши страницы.
Что он делает
Anthropic использует Claude-SearchBot, чтобы перемещаться по сети и улучшать качество результатов поиска для пользователей Claude. Он отделён от ClaudeBot, краулера для обучения, поэтому можно разрешить поиск и при этом отказаться от обучения.
Anthropic сообщает, что отключение Claude-SearchBot препятствует индексации вашего контента для оптимизации поиска, что может снизить видимость и точность вашего сайта в результатах поиска пользователей. Боты Anthropic соблюдают robots.txt и не обходят защитные меры, поэтому CAPTCHA или страница-проверка завершает визит.
В нашем исследовании за 2026-11 12.9% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
Claude-SearchBot
Как его разрешить
User-agent: Claude-SearchBot
Allow: /Как его заблокировать
User-agent: Claude-SearchBot
Disallow: /Как проверить настоящие визиты
Anthropic публикует IP-адреса своих краулеров по адресу claude.com/crawling/bots.json и сообщает, что краулер, чей IP есть в этом списке, принадлежит Anthropic. Сверяйте исходный IP со списком, а не доверяйте user agent. Anthropic не советует отказываться через блокировку по IP, потому что тогда краулер не сможет прочитать и robots.txt.
Проверьте, пускает ли его ваш сайт →
Краулеры Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →