ClaudeBot
ClaudeBot ist der Crawler von Anthropic für Webinhalte, die zum Training seiner generativen KI-Modelle verwendet werden können. Wenn Sie ihn in der robots.txt sperren, signalisieren Sie, dass künftige Inhalte Ihrer Website vom Training ausgeschlossen werden sollen. Das allein hält Claude-SearchBot und Claude-User nicht ab, die für Suche und Live-Antworten zuständig sind.
Was er tut
Laut Anthropic sammelt ClaudeBot Webinhalte, die zum Training seiner Modelle beitragen können, um deren Nutzen und Sicherheit zu verbessern. Wer ClaudeBot sperrt, signalisiert, dass künftige Materialien der Website von Trainingsdatensätzen ausgeschlossen werden sollen.
Anthropic unterstützt außerdem die nicht standardisierte Crawl-delay-Direktive, sodass Sie ClaudeBot bremsen können, statt ihn zu blockieren. Regeln, die ClaudeBot in der robots.txt nennen, haben Vorrang vor dem allgemeinen Signal von Anthropic gegen KI-Training. Regeln der robots.txt gelten pro Host; ergänzen Sie sie daher für jede Subdomain, die erfasst werden soll.
In unserer Studie vom 2026-11 blockierten 21.2% der beliebten Websites mit einer robots.txt ihn. →
robots.txt-Token
ClaudeBot
So lassen Sie ihn zu
User-agent: ClaudeBot
Allow: /So blockieren Sie ihn
User-agent: ClaudeBot
Disallow: /So prüfen Sie echte Besuche
Anthropic veröffentlicht die IP-Adressen seiner Crawler unter claude.com/crawling/bots.json und erklärt, dass ein Crawler, dessen IP auf dieser Liste steht, von Anthropic stammt. Gleichen Sie die Quell-IP mit der Liste ab, statt dem User-Agent zu vertrauen. Anthropic rät davon ab, IP-Blockaden für den Widerspruch zu nutzen, weil der Crawler dann auch die robots.txt nicht mehr lesen kann.
Prüfen, ob Ihre Website ihn hereinlässt →
Die Crawler von Anthropic: ClaudeBot, Claude-SearchBot und Claude-User →