Claude 能看到我的网站吗?检查方法

发布于 · 更新于

简短回答

只有当你的 robots.txt 允许 Anthropic 的代理,并且服务器发给它们的 HTML 与浏览器拿到的相同,Claude 才能读取你的页面。请检查 robots.txt 没有禁止 Claude-SearchBot 或 Claude-User,防火墙没有对它们返回 403 或验证页面,并且正文包含在最初返回的 HTML 中。然后直接测试 Claude:在对话中粘贴你的 URL,并在开启网页搜索的情况下提出你的买家会问的问题。

如果你向 Claude 询问自己的产品,它却引用了其他网站,第一个问题就是它到底能不能访问你的网站。这个问题有可以验证的答案。Anthropic 公布了其代理的 robots.txt 标识(token)以及它们使用的 IP 地址,而 Claude 会显示它用到的来源。所以你可以按顺序逐步检查:robots.txt 怎么写、服务器返回什么、日志记录了什么,以及你把页面交给 Claude 时它会怎么处理。

本页内容
  1. 5 分钟检查,分步说明
  2. Claude 如何读取网站?
  3. 如何通过 robots.txt 检查 Claude 能否访问我的网站?
  4. 如何测试 Claude 的代理从我的服务器拿到了什么?
  5. 如何查看 Claude 是否真的访问了我的网站?
  6. 如何用 Claude 本身测试我的页面?
  7. 如果 Claude 能读取我的页面,却仍然不引用怎么办?
  8. AISeeWhy 如何检查这些?

5 分钟检查,分步说明

  1. 打开你的 robots.txt,确认针对 Claude-SearchBot、Claude-User 或 User-agent: * 的组都没有禁止该页面。ClaudeBot 只与训练有关。
  2. 在 AISeeWhy 上免费检查该页面,或用 Claude-User 的 user agent 发送一个请求:它必须得到状态码 200 以及与浏览器相同的文本。
  3. 在你的访问日志中搜索 Claude-SearchBot 和 Claude-User,查看它们收到的状态码。
  4. 在开启网页搜索的 Claude 中粘贴你的 URL,让它总结该页面,然后问一个买家会问的问题,并检查引用。

如果第 1 步或第 2 步未通过,先修复访问问题;下面的章节会说明怎么做。如果 Claude 能读取页面却不引用它,就从内容入手。

Claude 如何读取网站?

Claude 通过两种方式访问网络。使用网页搜索时,如果问题需要最新信息,它会进行搜索,查看多个来源,并在回答中附上引用。Anthropic 帮助中心表示,每个使用了网页搜索的回答都包含引用。当有人给 Claude 一个具体链接时,它可以直接打开该页面。

Anthropic 为此列出了三个代理,每个都有自己的 robots.txt 标识。Claude-SearchBot 抓取页面以改进 Claude 的搜索结果,Claude-User 在用户的问题需要时获取页面,ClaudeBot 收集可能用于训练的内容。我们另有一篇介绍 Anthropic 三个爬虫的指南,详细说明了每个爬虫的作用。要被读取和引用,需要检查的是前两个。

需要坦白一个局限:Anthropic 没有说明 Claude 的网页搜索使用哪个搜索索引,也没有说明它如何选择来源。Anthropic 表示,屏蔽 Claude-SearchBot 可能降低你在搜索结果中的可见度,屏蔽 Claude-User 则会阻止为用户问题获取页面。同时允许两者让引用成为可能,但并不保证一定会被引用。

如何通过 robots.txt 检查 Claude 能否访问我的网站?

打开 https://yourdomain.com/robots.txt,查找指明 Claude-SearchBot 或 Claude-User 的规则组。如果两者都没有被指明,它们都会遵循 User-agent: * 规则组。根据 RFC 9309,标识匹配不区分大小写,而适用规则组中的 Disallow: / 会对该代理关闭整个网站。

也要检查响应本身。如果 robots.txt 返回服务器错误,爬虫会假定所有内容都被禁止。404 表示没有任何规则。下面两条命令会显示状态码以及文件中的每个规则组:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic 表示,规则必须放在每个子域名顶层的 robots.txt 中,所以 blog.example.com 需要自己的文件。这类屏蔽并不少见。在我们对访问量最高的 1,000 个域名的研究中,提供 robots.txt 的 518 个网站里,有 67 个(12.9%)对 Claude-SearchBot 禁止了首页,68 个(13.1%)对 Claude-User 禁止了首页,而对训练爬虫 ClaudeBot 这样做的有 110 个(21.2%)。

如何测试 Claude 的代理从我的服务器拿到了什么?

robots.txt 只是一个请求,不是访问控制。防火墙、CDN 或机器人防护可能会对 Anthropic 的代理返回 403、429 或验证页面,而你自己的浏览器看到的页面完全正常。Anthropic 表示其机器人不会尝试绕过 CAPTCHA,所以一个验证页面就会让这次访问结束。

分别用浏览器的 user agent 和 Anthropic 的每个标识请求同一个 URL,然后比较状态码和大小:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropic 的帮助页面列出了这些标识,但没有公布完整的 user agent 字符串,所以这里用的是测试字符串,并非 Anthropic 的真实字符串。它们能显示按名称匹配的规则如何处理请求。如果只有 Claude 那几行返回 403、429 或 503,或者返回 200 但比浏览器的响应小得多,问题就出在防火墙。

你的测试来自你自己的 IP 地址。Anthropic 表示,来自 claude.com/crawling/bots.json 列表中地址的请求来自 Anthropic。如果你的防火墙按 IP 放行经过验证的爬虫,真正的代理可能顺利通过,而你的测试却被拦截,反过来也有可能。请用这份列表来放行 Anthropic,而不是屏蔽它:Anthropic 不建议按 IP 屏蔽,因为这也会让其机器人无法读取你的 robots.txt。

如何查看 Claude 是否真的访问了我的网站?

访问日志可以直接回答这个问题。在日志中搜索这三个标识,然后检查来源地址是否位于 Anthropic 公布的 IP 范围内,因为任何人都可以冒用 user agent 名称:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

第一条命令假定使用常见的 combined 日志格式,其中第 1 个字段是客户端地址,第 9 个字段是状态码。Anthropic 的代理旁边出现大量 403 或 429,就说明是防火墙的问题。完全没有来自 Claude-SearchBot 的访问,只说明它还没有抓取这些页面,或者有别的东西更早地拦住了它。

如何用 Claude 本身测试我的页面?

打开一个对话,粘贴你某个页面的 URL,并附上“总结这个页面”之类的请求。Anthropic 帮助中心表示,开启网页搜索后,Claude 可以打开你提供的链接。如果网页搜索处于关闭状态,请在 + 菜单中开启;在 Anthropic 较新的 Claude 体验中没有开关,Claude 会在有帮助时自动搜索。在 Team 和 Enterprise 套餐中,需要所有者先为组织启用网页搜索。如果浏览器能打开你的页面而 Claude 不能,请回到防火墙测试。

然后提出你的买家会问的问题,不要提及你的网站名称,并打开被引用的来源。Anthropic 表示,Claude 可能会根据你的 IP 地址推断位置以提供本地化结果,所以回答会因地点和每次运行而不同。

开发者可以通过 Claude API 重复这一测试。网页搜索工具接受 allowed_domains 列表,因此限定在你的域名内的请求可以显示,针对某个问题,Claude 的搜索是否会返回你的任何页面:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

搜索结果为空,表示 Claude 的搜索针对这个问题在该域名上没有找到任何内容。Anthropic 对 API 网页搜索在 token 费用之外另行收费。API 的网页获取(web fetch)工具还会报告页面无法读取的原因:url_not_allowed 涵盖 robots.txt 等屏蔽,url_not_accessible 表示 HTTP 错误。API 的回答可能与 Claude 应用中显示的不同。

如果 Claude 能读取我的页面,却仍然不引用怎么办?

首先确认它需要的文本就在服务器返回的 HTML 中。Anthropic 的 API 文档表示,其网页获取工具不支持用 JavaScript 渲染的网站,而 Anthropic 也没有说其爬虫会运行脚本。用 curl 获取你的页面,在输出中搜索正文里的一句话。如果找不到,服务器端渲染或预渲染可以为 Claude 以及大多数其他 AI 爬虫解决这个问题。

在此之后,就要看页面本身了。在开头几句中回答页面的主要问题,使用与人们提问方式一致的标题,写明发布者并显示日期。然后把你的页面与 Claude 针对同一问题引用的页面进行比较:被引用的页面往往更直接地回答了那个问题。

AISeeWhy 如何检查这些?

AISeeWhy 免费检查会与真实浏览器并列,分别以 Claude-SearchBot、Claude-User、ClaudeBot 以及其他 AI 和搜索爬虫的身份抓取你的页面,对每个爬虫应用你的 robots.txt,识别验证页面,并显示在不运行 JavaScript 时能拿到多少文本。付费套餐中的 AI 可见度检查会使用你自己的 API 密钥,通过开启网页搜索的 Claude 提出你的问题,并显示你的品牌或域名是否被提及或引用。

免费工具

下一步

本文涉及的爬虫

常见问题

可以免费检查 Claude 能否看到我的网站吗?

可以。你的 robots.txt、curl 请求、服务器日志以及在 Claude 中提问,都不花钱。AISeeWhy 的免费检查每天可为一个页面测试 Anthropic 的代理以及另外 13 个爬虫,无需账户。

为什么我粘贴链接后 Claude 打不开我的网站?

常见原因是防火墙或机器人防护对 Anthropic 的代理返回 403 或验证页面、robots.txt 规则禁止了 Claude-User,或者页面文本只有在 JavaScript 运行后才出现。用 curl 分别以浏览器和 Claude 标识测试该 URL,并在日志中查找被拦截的请求。

Anthropic 是否公布了可以用来测试的 user agent 字符串?

Anthropic 的爬虫帮助页面列出了 ClaudeBot、Claude-SearchBot 和 Claude-User 这些标识,但没有完整的 user agent 字符串。要区分 Anthropic 的真实流量和冒充者,请将来源 IP 与 claude.com/crawling/bots.json 中的列表进行比较。

robots.txt 的更改多久能对 Claude 生效?

Anthropic 没有给出时间。RFC 9309 规定爬虫使用缓存的 robots.txt 不应超过 24 小时,所以至少等一天,再根据日志或 Claude 的回答判断结果。

Claude API 和 Claude 应用给出的回答一样吗?

不一定。应用可能会使用你的大致位置和它自己的设置,而 API 请求使用的是你发送的工具和参数。请把 API 结果看作可重复的测试,而不是每个用户所见内容的副本。

如何知道 Claude 是否提到了我的品牌?

在开启网页搜索的情况下,向 Claude 提出你的买家会问的问题,记下它是否提到或引用你的网站,以及出现了哪些竞争对手。由于回答会变化,每个问题都要在几周内重复提问。AISeeWhy 的 AI 可见度检查使用你的密钥,每周通过 Claude API 完成这项工作,并与最多四个竞争对手并列显示。

参考资料

更多文章