Claude-SearchBot
Anthropic · AI 搜尋
Claude-SearchBot 擷取網路內容,以提升 Claude 搜尋結果的相關性與準確性。Anthropic 表示,封鎖它會使你的內容無法為搜尋建立索引,可能降低你在使用者搜尋結果中的能見度與準確性。如果你希望 Claude 找到並引用你的頁面,請允許它。
它的作用
Anthropic 使用 Claude-SearchBot 瀏覽網路,提升 Claude 使用者的搜尋結果品質。它與訓練用爬蟲 ClaudeBot 是分開的,因此你可以允許搜尋,同時選擇退出訓練。
Anthropic 表示,停用 Claude-SearchBot 會使你的內容無法為搜尋最佳化建立索引,可能降低你的網站在使用者搜尋結果中的能見度與準確性。Anthropic 的機器人遵守 robots.txt,並尊重防規避措施,因此 CAPTCHA 或驗證頁面會使造訪中止。
在我們 2026-11 的研究中,設有 robots.txt 的熱門網站裡有 12.9% 封鎖了它。 →
robots.txt 標記
Claude-SearchBot
如何允許
User-agent: Claude-SearchBot
Allow: /
如何封鎖
User-agent: Claude-SearchBot
Disallow: /
如何驗證真實造訪
Anthropic 在 claude.com/crawling/bots.json 公布其爬蟲的 IP 位址,並表示 IP 在該清單中的爬蟲來自 Anthropic。請將來源 IP 與清單比對,而不要信任 user agent。Anthropic 不建議用 IP 封鎖來選擇退出,因為這樣也會讓爬蟲無法讀取 robots.txt。