Claude-User
Anthropic · 使用者要求的擷取
當 Claude 使用者提出需要造訪網站的問題時,例如讀取分享的連結,Claude-User 就會造訪該網站。Anthropic 表示其機器人遵守 robots.txt,而封鎖 Claude-User 會使其無法為回應使用者查詢而取得你的內容,可能降低你在使用者主導的網頁搜尋中的能見度。
它的作用
Anthropic 使用 Claude-User 支援 Claude 使用者:有人向 Claude 提問時,它可能造訪某個網站來回答。這些是代表使用者進行的個別擷取,而不是全面性的爬取。
OpenAI 與 Perplexity 表示其使用者要求型擷取程式可能不遵循 robots.txt;Anthropic 則不同,表示其機器人遵守 robots.txt 指令,並說明可在其中封鎖 Claude-User。這樣做會使 Claude 在使用者詢問你的頁面時無法取得這些頁面。
在我們 2026-11 的研究中,設有 robots.txt 的熱門網站裡有 13.1% 封鎖了它。 →
robots.txt 標記
Claude-User
如何允許
User-agent: Claude-User
Allow: /
如何封鎖
User-agent: Claude-User
Disallow: /
如何驗證真實造訪
Anthropic 在 claude.com/crawling/bots.json 公布其爬蟲的 IP 位址,並表示 IP 在該清單中的爬蟲來自 Anthropic。請將來源 IP 與清單比對,而不要信任 user agent。Anthropic 不建議用 IP 封鎖來選擇退出,因為這樣也會讓爬蟲無法讀取 robots.txt。