Claude-User
Anthropic · 用户请求的抓取
当 Claude 用户提出需要访问网站的问题时，例如读取分享的链接，Claude-User 会访问该网站。Anthropic 表示其机器人遵守 robots.txt，屏蔽 Claude-User 会使其无法响应用户查询而获取你的内容，可能降低你在用户主导的网页搜索中的可见度。
它的作用
Anthropic 使用 Claude-User 为 Claude 用户提供支持：有人向 Claude 提问时，它可能访问某个网站来回答。这是代表用户的单次抓取，而不是大范围爬取。
OpenAI 和 Perplexity 表示其用户请求型抓取器可能不遵循 robots.txt，与之不同，Anthropic 声明其机器人遵守 robots.txt 指令，并说明可在其中屏蔽 Claude-User。这样做会使 Claude 在用户询问你的页面时无法获取它们。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，13.1% 屏蔽了它。 →
robots.txt 标识
Claude-User
如何允许
User-agent: Claude-User
Allow: /如何屏蔽
User-agent: Claude-User
Disallow: /如何验证真实访问
Anthropic 在 claude.com/crawling/bots.json 公布其爬虫的 IP 地址，并表示 IP 在该列表中的爬虫来自 Anthropic。请将来源 IP 与列表比对，而不要信任 user agent。Anthropic 不建议用 IP 封锁来选择退出，因为这样爬虫也无法读取 robots.txt。