ClaudeBot
Anthropic · AI 訓練
ClaudeBot 是 Anthropic 的爬蟲，擷取的網頁內容可能用於訓練其生成式 AI 模型。在 robots.txt 中禁止它，表示你網站日後的內容應排除在訓練之外。單獨封鎖它並不會阻止負責搜尋與即時回答的 Claude-SearchBot 或 Claude-User。
它的作用
Anthropic 表示，ClaudeBot 蒐集可能用於訓練其模型的網頁內容，以提升模型的實用性與安全性。禁止 ClaudeBot 表示你網站日後的資料應排除在訓練資料集之外。
Anthropic 也支援非標準的 Crawl-delay 指令，因此你可以放慢 ClaudeBot，而不必直接封鎖。robots.txt 中指名 ClaudeBot 的規則優先於 Anthropic 通用的禁止 AI 訓練訊號。robots.txt 規則依主機生效，因此請將規則加入每個需要涵蓋的子網域。
在我們 2026-11 的研究中，設有 robots.txt 的熱門網站裡有 21.2% 封鎖了它。 →
robots.txt 標記
ClaudeBot
如何允許
User-agent: ClaudeBot
Allow: /如何封鎖
User-agent: ClaudeBot
Disallow: /如何驗證真實造訪
Anthropic 在 claude.com/crawling/bots.json 公布其爬蟲的 IP 位址，並表示 IP 在該清單中的爬蟲來自 Anthropic。請將來源 IP 與清單比對，而不要信任 user agent。Anthropic 不建議用 IP 封鎖來選擇退出，因為這樣也會讓爬蟲無法讀取 robots.txt。