Видит ли Claude мой сайт? Как проверить

Опубликовано · Обновлено

Короткий ответ

Claude может прочитать вашу страницу, только если robots.txt разрешает агентов Anthropic, а сервер отдаёт им тот же HTML, что и браузеру. Проверьте, что robots.txt не запрещает Claude-SearchBot и Claude-User, что файрвол не отвечает им кодом 403 или страницей-проверкой и что основной текст есть в исходном HTML. Затем проверьте сам Claude: вставьте URL в чат и задайте вопросы ваших покупателей с включённым веб-поиском.

Если вы спрашиваете Claude о своём продукте, а он цитирует другие сайты, первый вопрос — добирается ли он до вашего вообще. На него есть проверяемый ответ. Anthropic публикует токены robots.txt своих агентов и IP-адреса, с которых они приходят, а Claude показывает источники, которые использовал. Поэтому можно проверить каждый шаг по порядку: что написано в robots.txt, что отдаёт сервер, что записано в логах и что Claude делает со страницей, когда вы даёте её ему сами.

На этой странице
  1. Проверка за 5 минут, шаг за шагом
  2. Как Claude читает сайты?
  3. Как проверить в robots.txt, есть ли у Claude доступ к моему сайту?
  4. Как проверить, что агенты Claude получают от моего сервера?
  5. Как увидеть, заходит ли Claude на мой сайт на самом деле?
  6. Как проверить мою страницу в самом Claude?
  7. Что делать, если Claude может прочитать страницу, но всё равно её не цитирует?
  8. Как это проверяет AISeeWhy?

Проверка за 5 минут, шаг за шагом

  1. Откройте robots.txt и убедитесь, что ни группа для Claude-SearchBot, Claude-User, ни User-agent: * не запрещает страницу. ClaudeBot важен только для обучения.
  2. Запустите бесплатную проверку страницы в AISeeWhy или отправьте один запрос с user agent Claude-User: он должен получить статус 200 и тот же текст, что и браузер.
  3. Найдите в журнале доступа Claude-SearchBot и Claude-User и посмотрите, какие коды статуса они получили.
  4. Вставьте свой URL в Claude с включённым веб-поиском, попросите кратко пересказать страницу, затем задайте вопрос, который задают ваши покупатели, и проверьте ссылки на источники.

Если не прошёл шаг 1 или 2, сначала исправьте доступ; как именно, показано в разделах ниже. Если Claude читает страницу, но не цитирует её, работайте над контентом.

Как Claude читает сайты?

Claude выходит в интернет двумя способами. С веб-поиском он ищет, когда вопросу нужна актуальная информация, просматривает несколько источников и отвечает со ссылками на них. В справочном центре Anthropic сказано, что каждый ответ, в котором использован веб-поиск, содержит цитаты. Когда кто-то даёт Claude конкретную ссылку, он может открыть эту страницу напрямую.

Anthropic описывает для этого трёх агентов, у каждого свой токен в robots.txt. Claude-SearchBot обходит сайты, чтобы улучшать результаты поиска Claude, Claude-User загружает страницы, когда они нужны для вопроса пользователя, а ClaudeBot собирает контент, который может использоваться для обучения. Что делает каждый из них, подробно разобрано в нашем отдельном руководстве о трёх краулерах Anthropic. Чтобы вас читали и цитировали, проверять нужно первых двух.

Честное ограничение: Anthropic не сообщает, какой поисковый индекс использует веб-поиск Claude и как он выбирает источники. Компания пишет, что блокировка Claude-SearchBot может снизить вашу видимость в результатах поиска, а блокировка Claude-User не позволяет получать страницы для вопросов пользователей. Если разрешить обоих, цитирование станет возможным, но не гарантированным.

Как проверить в robots.txt, есть ли у Claude доступ к моему сайту?

Откройте https://yourdomain.com/robots.txt и найдите группы, где указаны Claude-SearchBot или Claude-User. Если ни один не указан, оба следуют группе User-agent: *. По RFC 9309 токены сравниваются без учёта регистра, а Disallow: / в той группе, которая применяется, закрывает для этого агента весь сайт.

Проверьте и сам ответ. Если robots.txt возвращает ошибку сервера, краулеры должны считать, что запрещено всё. Код 404 означает, что правил нет. Две команды показывают код ответа и все группы в файле:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic пишет, что правила должны лежать в robots.txt в корне каждого поддомена, поэтому blog.example.com нужен собственный файл. Такие блокировки не редкость. В нашем исследовании 1000 самых популярных доменов из 518 сайтов, отдававших robots.txt, 67 (12,9%) запрещали главную страницу для Claude-SearchBot и 68 (13,1%) — для Claude-User, а 110 (21,2%) делали то же для краулера обучения ClaudeBot.

Как проверить, что агенты Claude получают от моего сервера?

robots.txt — это просьба, а не контроль доступа. Файрвол, CDN или защита от ботов может отвечать агентам Anthropic кодом 403, 429 или страницей-проверкой, пока ваш браузер видит страницу как обычно. Anthropic пишет, что её боты не пытаются обходить CAPTCHA, так что страница-проверка заканчивает визит.

Запросите один и тот же URL с user agent браузера и с каждым токеном Anthropic, затем сравните код ответа и размер:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

На справочной странице Anthropic названы токены, но полные строки user agent не опубликованы, поэтому это тестовые строки, а не настоящие строки Anthropic. Они показывают, как с запросом обходятся правила, которые смотрят на имя. Код 403, 429 или 503 только в строках Claude или ответ 200, который намного меньше браузерного, указывает на файрвол.

Ваш тест идёт с вашего собственного IP-адреса. Anthropic пишет, что запросы с адресов из её списка claude.com/crawling/bots.json действительно исходят от Anthropic. Если файрвол пропускает проверенных краулеров по IP, настоящие агенты могут проходить, пока ваш тест блокируется, и наоборот. Используйте список, чтобы разрешить Anthropic, а не чтобы её заблокировать: Anthropic не советует блокировать по IP, потому что тогда её боты не смогут прочитать и ваш robots.txt.

Как увидеть, заходит ли Claude на мой сайт на самом деле?

На этот вопрос прямо отвечают логи доступа. Найдите в них три токена, а затем проверьте, что адреса источников попадают в опубликованные диапазоны Anthropic, потому что имя user agent может скопировать кто угодно:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Первая команда рассчитана на распространённый формат логов combined, где поле 1 — адрес клиента, а поле 9 — код ответа. Много кодов 403 или 429 рядом с агентами Anthropic подтверждают проблему с файрволом. Отсутствие визитов Claude-SearchBot означает лишь, что он ещё не обходил эти страницы или что его останавливает что-то раньше.

Как проверить мою страницу в самом Claude?

Откройте чат и вставьте URL одной из своих страниц с просьбой вроде «Перескажи эту страницу». В справочном центре Anthropic сказано, что при включённом веб-поиске Claude может открывать ссылки, которые вы даёте. Если веб-поиск выключен, включите его в меню +; в новом интерфейсе Claude переключателя нет, и Claude ищет, когда это помогает. В тарифах Team и Enterprise владелец сначала должен включить веб-поиск для организации. Если Claude не может открыть вашу страницу, а браузер может, вернитесь к тесту файрвола.

Затем задайте вопросы, которые задают ваши покупатели, не называя свой сайт, и откройте процитированные источники. Anthropic пишет, что Claude может использовать местоположение, определённое по вашему IP-адресу, для локальных результатов, поэтому ответы могут отличаться в зависимости от места и от запуска к запуску.

Разработчики могут повторить это через Claude API. Инструмент веб-поиска принимает список allowed_domains, поэтому запрос, ограниченный вашим доменом, показывает, возвращает ли поиск Claude по вопросу хоть одну из ваших страниц:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Пустые результаты поиска означают, что поиск Claude ничего не нашёл на этом домене по данному вопросу. Веб-поиск через API Anthropic оплачивается отдельно от токенов. Инструмент web fetch в API также сообщает, почему страницу не удалось прочитать: url_not_allowed означает блокировки вроде robots.txt, а url_not_accessible — ошибку HTTP. Ответы API могут отличаться от того, что показывают приложения Claude.

Что делать, если Claude может прочитать страницу, но всё равно её не цитирует?

Сначала убедитесь, что нужный текст есть в HTML, который отдаёт сервер. В документации API Anthropic сказано, что инструмент web fetch не поддерживает сайты, отрисованные через JavaScript, и Anthropic нигде не пишет, что её краулеры выполняют скрипты. Загрузите страницу через curl и поищите в выводе фразу из основного текста. Если её нет, серверный рендеринг или пререндеринг решит проблему и для Claude, и для большинства других AI-краулеров.

Дальше всё решает сама страница. Поставьте ответ на главный вопрос страницы в первые предложения, используйте заголовки, совпадающие с вопросами, которые задают люди, укажите издателя и покажите даты. Затем сравните свою страницу с той, которую Claude цитирует по тому же вопросу: процитированная страница часто отвечает именно на этот вопрос прямее.

Как это проверяет AISeeWhy?

Бесплатная проверка AISeeWhy загружает вашу страницу как Claude-SearchBot, Claude-User, ClaudeBot и другие AI- и поисковые краулеры рядом с настоящим браузером, применяет ваш robots.txt к каждому, распознаёт страницы-проверки и показывает, сколько текста доходит без JavaScript. Функция «Видимость в ИИ» в пробном периоде и платных тарифах задаёт ваши вопросы Claude с веб-поиском через ваш собственный API-ключ и показывает, упомянут ли или процитирован ваш бренд или домен.

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Можно ли бесплатно проверить, видит ли Claude мой сайт?

Да. Ваш robots.txt, запрос curl, серверный журнал и вопрос в Claude ничего не стоят. Бесплатная проверка AISeeWhy тестирует агентов Anthropic и 13 других краулеров для одной страницы в день без аккаунта.

Почему Claude не может открыть мой сайт, когда я вставляю ссылку?

Обычные причины — файрвол или защита от ботов, которые отвечают агентам Anthropic кодом 403 или страницей-проверкой, правило robots.txt, запрещающее Claude-User, или страница, текст которой появляется только после выполнения JavaScript. Проверьте URL через curl как браузер и с токенами Claude и поищите заблокированные запросы в логах.

Публикует ли Anthropic строку user agent для тестов?

На справочной странице Anthropic о краулерах перечислены токены ClaudeBot, Claude-SearchBot и Claude-User, но полных строк user agent нет. Чтобы отличить настоящий трафик Anthropic от подделки, сравните IP-адрес источника со списком claude.com/crawling/bots.json.

Через сколько изменения в robots.txt дойдут до Claude?

Anthropic срок не называет. По RFC 9309 краулерам не следует использовать закэшированный robots.txt дольше 24 часов, так что подождите хотя бы сутки, прежде чем оценивать результат в логах или в ответах Claude.

Даёт ли Claude API те же ответы, что и приложение Claude?

Не обязательно. Приложение может учитывать ваше примерное местоположение и собственные настройки, а запрос к API использует те инструменты и параметры, которые вы передаёте. Считайте результаты API воспроизводимым тестом, а не копией того, что видит каждый пользователь.

Как узнать, упоминает ли Claude мой бренд?

Задайте Claude с включённым веб-поиском вопросы ваших покупателей и отметьте, называет или цитирует ли он ваш сайт и какие конкуренты появляются вместо него. Повторяйте каждый вопрос несколько недель, потому что ответы меняются. Функция «Видимость в ИИ» в AISeeWhy делает это еженедельно через Claude API с вашим ключом, рядом с четырьмя конкурентами максимум.

Источники

Другие статьи