AISeeWhy
RU
Начать пробный период

Краулеры Anthropic: ClaudeBot, Claude-SearchBot и Claude-User

Опубликовано

Короткий ответ

У Anthropic три агента: ClaudeBot собирает контент, который может использоваться для обучения моделей, Claude-SearchBot обходит сайты, чтобы улучшить результаты поиска Claude, а Claude-User загружает страницы, когда они нужны для вопроса пользователя Claude. У каждого свой токен robots.txt, и Anthropic сообщает, что все три его соблюдают. Блокировка одного ClaudeBot не останавливает ни поиск, ни загрузки по запросу пользователя.

Anthropic описывает свои краулеры на одной странице справки, и структура повторяет подход других AI-вендоров: один агент для обучения, один для поиска и один для живых загрузок по просьбе пользователя. Если вы хотите, чтобы Claude мог находить и цитировать ваши страницы, важнее всего последние два.

На этой странице
  1. Что делает ClaudeBot
  2. Что делает Claude-SearchBot
  3. Что делает Claude-User
  4. Как написать правила robots.txt для Claude
  5. Чем подход Anthropic отличается от OpenAI и Perplexity
  6. Стоит ли блокировать Anthropic по IP-адресу
  7. Почему Claude всё равно может не прочитать страницу

Что делает ClaudeBot

ClaudeBot собирает веб-контент, который может пойти на обучение генеративных моделей Anthropic. По словам Anthropic, запрет для него сигнализирует, что будущий контент вашего сайта нужно исключить из обучающих наборов данных.

Anthropic также сообщает, что соблюдает машиночитаемый сигнал запрета обучения AI, основанный на черновике IETF, и что правила с именем ClaudeBot в robots.txt имеют приоритет над этой общей настройкой. Как и для других краулеров обучения, блокировка — вопрос вашей политики.

Что делает Claude-SearchBot

Claude-SearchBot обходит веб, чтобы повысить релевантность и точность результатов поиска в Claude. Anthropic сообщает, что его блокировка не даёт индексировать ваш контент для поиска, что может снизить вашу видимость и точность в результатах поиска для пользователей.

Этого агента нужно разрешить, если вы хотите, чтобы поисковые функции Claude знали о ваших страницах до того, как кто-то о них спросит. Поскольку это поисковый краулер, ему идёт на пользу то же, что и любому поисковому краулеру: карта сайта, указанная в robots.txt, чистая внутренняя перелинковка и страницы, которые отдают содержание уже в первом ответе.

Что делает Claude-User

Claude-User заходит на сайт, когда вопрос пользователя Claude требует этого, например когда человек делится URL или просит Claude что-то найти. Anthropic сообщает, что блокировка не даёт получать страницы в ответ на запросы пользователей, что может снизить вашу видимость в поиске по вебу, который направляет пользователь.

Отметьте отличие от некоторых других вендоров. Anthropic заявляет, что его боты соблюдают директивы robots.txt, и описывает блокировку Claude-User через robots.txt. OpenAI и Perplexity, напротив, сообщают, что их загрузчики по запросу пользователя могут не следовать robots.txt.

Как написать правила robots.txt для Claude

У каждого агента свой токен, а группа, в которой назван краулер, заменяет для него группу * по RFC 9309. Частый выбор — разрешить поиск и загрузки по запросу пользователя и отказаться от обучения:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic также поддерживает Crawl-delay как нестандартное расширение, например Crawl-delay: 1 в группе User-agent: ClaudeBot, если вы хотите замедлить обход, а не блокировать его. Правила должны находиться в robots.txt в корневом каталоге каждого хоста, поэтому добавляйте их на каждый поддомен, который хотите охватить.

Чем подход Anthropic отличается от OpenAI и Perplexity

Все три вендора следуют одной схеме под разными названиями, поэтому общий robots.txt для них легко продумать. Главное различие — как каждый относится к robots.txt при живых загрузках по запросу пользователя.

Если вы пишете один robots.txt для всех трёх, поместите поисковые токены и токены загрузки по запросу в одну группу, а токены обучения в другую. Так политика остаётся читаемой, и сразу видно, какой выбор вы сделали для каждой цели.

Стоит ли блокировать Anthropic по IP-адресу

Anthropic не советует. В её документации сказано, что блокировка IP-адресов может работать некорректно и не гарантировать отказ надёжно и надолго, поскольку краулер при этом не может прочитать ваш robots.txt. Политику лучше задавать через robots.txt.

IP-адреса своих краулеров Anthropic публикует на claude.com/crawling/bots.json. Полезно использовать этот список наоборот, не для блокировки: пусть файрвол проверяет, что запрос от имени Claude-SearchBot или Claude-User действительно пришёл от Anthropic, и пропускает его.

Почему Claude всё равно может не прочитать страницу

Даже при разрешающем robots.txt файрвол или CDN может отвечать агентам Anthropic кодом 403 или страницей-проверкой. Anthropic заявляет, что её боты уважают технологии защиты от обхода и не пытаются обходить CAPTCHA, так что страница-проверка просто завершает визит. Страницы, текст которых появляется только после выполнения JavaScript, тоже могут прийти почти пустыми.

AISeeWhy запрашивает вашу страницу как ClaudeBot, Claude-SearchBot и Claude-User рядом с браузером и проверяет ваши правила robots.txt для каждого, так что видно, совпадает ли написанная вами политика с той, которую на деле применяет сервер.

Частые вопросы

Убирает ли блокировка ClaudeBot мой сайт из ответов Claude?

Сама по себе нет. Поисковая индексация и загрузки по запросу пользователя идут через Claude-SearchBot и Claude-User, у которых свои токены robots.txt.

Соблюдает ли Claude-User robots.txt?

Anthropic сообщает, что её боты соблюдают robots.txt, и описывает блокировку Claude-User там же, в результате чего Claude не может получать ваши страницы для вопросов пользователей.

Решают ли краулеры Anthropic CAPTCHA?

Нет. Anthropic заявляет, что её боты уважают технологии защиты от обхода и не пытаются обходить CAPTCHA.

Можно ли замедлить ClaudeBot, а не блокировать?

Да. Anthropic поддерживает Crawl-delay как нестандартное расширение, например Crawl-delay: 1 в группе ClaudeBot вашего robots.txt.

Как проверить, что запрос действительно пришёл от Anthropic?

Сравните исходный IP со списком, который Anthropic публикует на claude.com/crawling/bots.json. Один только user agent может скопировать кто угодно.

Источники

Другие статьи