ClaudeBot
Anthropic · AI 训练
ClaudeBot 是 Anthropic 的爬虫，抓取的网页内容可能用于训练其生成式 AI 模型。在 robots.txt 中禁止它，表示你网站今后的内容应排除在训练之外。仅屏蔽它并不会阻止 Claude-SearchBot 或 Claude-User，它们分别负责搜索和实时回答。
它的作用
Anthropic 表示，ClaudeBot 收集可能用于训练其模型的网页内容，以提升模型的实用性和安全性。禁止 ClaudeBot 表示你网站今后的材料应排除在训练数据集之外。
Anthropic 还支持非标准的 Crawl-delay 指令，因此可以放慢 ClaudeBot 而不是直接屏蔽。robots.txt 中点名 ClaudeBot 的规则优先于 Anthropic 通用的禁止 AI 训练信号。robots.txt 规则按主机生效，所以请把规则添加到每个需要覆盖的子域名。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，21.2% 屏蔽了它。 →
robots.txt 标识
ClaudeBot
如何允许
User-agent: ClaudeBot
Allow: /如何屏蔽
User-agent: ClaudeBot
Disallow: /如何验证真实访问
Anthropic 在 claude.com/crawling/bots.json 公布其爬虫的 IP 地址，并表示 IP 在该列表中的爬虫来自 Anthropic。请将来源 IP 与列表比对，而不要信任 user agent。Anthropic 不建议用 IP 封锁来选择退出，因为这样爬虫也无法读取 robots.txt。