Claude-User
Claude-User besucht eine Website, wenn die Frage eines Claude-Nutzers dies erfordert, etwa um einen geteilten Link zu lesen. Laut Anthropic beachten seine Bots die robots.txt, und eine Sperre von Claude-User verhindert, dass Ihre Inhalte als Antwort auf Nutzeranfragen abgerufen werden, was Ihre Sichtbarkeit in der vom Nutzer angestoßenen Websuche verringern kann.
Was er tut
Anthropic verwendet Claude-User zur Unterstützung von Claude-Nutzern: Stellt jemand Claude eine Frage, kann es zur Beantwortung auf eine Website zugreifen. Das sind einzelne Abrufe im Auftrag eines Nutzers, kein allgemeines Crawling.
Anders als OpenAI und Perplexity, die angeben, dass ihre vom Nutzer ausgelösten Fetcher die robots.txt möglicherweise nicht befolgen, erklärt Anthropic, dass seine Bots die Direktiven der robots.txt beachten, und beschreibt dort auch das Blockieren von Claude-User. Damit verhindern Sie, dass Claude Ihre Seiten abruft, wenn Nutzer danach fragen.
In unserer Studie vom 2026-11 blockierten 13.1% der beliebten Websites mit einer robots.txt ihn. →
robots.txt-Token
Claude-User
So lassen Sie ihn zu
User-agent: Claude-User
Allow: /So blockieren Sie ihn
User-agent: Claude-User
Disallow: /So prüfen Sie echte Besuche
Anthropic veröffentlicht die IP-Adressen seiner Crawler unter claude.com/crawling/bots.json und erklärt, dass ein Crawler, dessen IP auf dieser Liste steht, von Anthropic stammt. Gleichen Sie die Quell-IP mit der Liste ab, statt dem User-Agent zu vertrauen. Anthropic rät davon ab, IP-Blockaden für den Widerspruch zu nutzen, weil der Crawler dann auch die robots.txt nicht mehr lesen kann.
Prüfen, ob Ihre Website ihn hereinlässt →
Die Crawler von Anthropic: ClaudeBot, Claude-SearchBot und Claude-User →