Claude-SearchBot
Anthropic · AI 搜索
Claude-SearchBot 抓取网络，以提升 Claude 搜索结果的相关性和准确性。Anthropic 表示，屏蔽它会使你的内容无法为搜索建立索引，可能降低你在用户搜索结果中的可见度和准确性。如果希望 Claude 找到并引用你的页面，请允许它。
它的作用
Anthropic 使用 Claude-SearchBot 浏览网络，提升 Claude 用户的搜索结果质量。它与训练爬虫 ClaudeBot 是分开的，因此你可以允许搜索，同时选择退出训练。
Anthropic 表示，停用 Claude-SearchBot 会使你的内容无法为搜索优化建立索引，可能降低你网站在用户搜索结果中的可见度和准确性。Anthropic 的机器人遵守 robots.txt，并尊重反规避措施，因此验证码或验证页面会终止访问。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，12.9% 屏蔽了它。 →
robots.txt 标识
Claude-SearchBot
如何允许
User-agent: Claude-SearchBot
Allow: /如何屏蔽
User-agent: Claude-SearchBot
Disallow: /如何验证真实访问
Anthropic 在 claude.com/crawling/bots.json 公布其爬虫的 IP 地址，并表示 IP 在该列表中的爬虫来自 Anthropic。请将来源 IP 与列表比对，而不要信任 user agent。Anthropic 不建议用 IP 封锁来选择退出，因为这样爬虫也无法读取 robots.txt。