AISeeWhy
DE
Kostenlos testen

Die Crawler von Anthropic: ClaudeBot, Claude-SearchBot und Claude-User

Veröffentlicht

Kurz gesagt

Anthropic betreibt drei Agenten: ClaudeBot sammelt Inhalte, die zum Training seiner Modelle dienen können, Claude-SearchBot crawlt, um die Suchergebnisse von Claude zu verbessern, und Claude-User ruft Seiten ab, wenn die Frage eines Claude-Nutzers es erfordert. Jeder hat einen eigenen robots.txt-Token, und laut Anthropic befolgen alle drei die robots.txt. Das Sperren von ClaudeBot allein stoppt weder die Suche noch Abrufe durch Nutzer.

Anthropic dokumentiert seine Crawler auf einer einzigen Hilfeseite, und die Struktur gleicht der anderer KI-Anbieter: ein Agent für das Training, einer für die Suche und einer für Live-Abrufe im Auftrag eines Nutzers. Wenn Claude Ihre Seiten finden und zitieren können soll, sind die letzten beiden am wichtigsten.

Auf dieser Seite
  1. Was macht ClaudeBot?
  2. Was macht Claude-SearchBot?
  3. Was macht Claude-User?
  4. Wie schreibe ich robots.txt-Regeln für Claude?
  5. Wie schneidet das Setup von Anthropic im Vergleich zu OpenAI und Perplexity ab?
  6. Sollte ich Anthropic per IP-Adresse sperren?
  7. Warum könnte Claude meine Seite trotzdem nicht lesen?

Was macht ClaudeBot?

ClaudeBot sammelt Webinhalte, die zum Training der generativen KI-Modelle von Anthropic beitragen können. Laut Anthropic signalisiert ein Disallow, dass künftige Inhalte Ihrer Website aus Trainingsdatensätzen ausgeschlossen werden sollen.

Anthropic sagt außerdem, dass es ein maschinenlesbares Signal gegen KI-Training auf Basis eines IETF-Entwurfs beachtet und dass Regeln, die ClaudeBot in der robots.txt nennen, Vorrang vor dieser allgemeinen Einstellung haben. Wie bei anderen Training-Crawlern ist das Sperren eine Richtlinienentscheidung.

Was macht Claude-SearchBot?

Claude-SearchBot durchsucht das Web, um die Relevanz und Genauigkeit der Suchergebnisse in Claude zu verbessern. Laut Anthropic verhindert eine Sperre, dass Ihre Inhalte für die Suche indexiert werden, was Ihre Sichtbarkeit und Genauigkeit in den Suchergebnissen für Nutzer verringern kann.

Diesen Agenten sollten Sie zulassen, wenn die Suchfunktionen von Claude Ihre Seiten kennen sollen, bevor jemand danach fragt. Als Suchcrawler profitiert er von denselben Dingen wie jeder Suchcrawler: einer in der robots.txt aufgeführten Sitemap, sauberen internen Links und Seiten, die ihren Inhalt in der ersten Antwort liefern.

Was macht Claude-User?

Claude-User greift auf eine Website zu, wenn ein Claude-Nutzer eine Frage stellt, die das erfordert, etwa wenn jemand eine URL teilt oder Claude bittet, etwas nachzuschlagen. Laut Anthropic verhindert eine Sperre den Abruf als Reaktion auf Nutzeranfragen, was Ihre Sichtbarkeit in der vom Nutzer gesteuerten Websuche verringern kann.

Beachten Sie einen Unterschied zu manchen anderen Anbietern. Anthropic erklärt, dass seine Bots die robots.txt-Anweisungen befolgen, und beschreibt das Sperren von Claude-User über die robots.txt. OpenAI und Perplexity sagen dagegen, dass ihre vom Nutzer ausgelösten Fetcher die robots.txt möglicherweise nicht befolgen.

Wie schreibe ich robots.txt-Regeln für Claude?

Jeder Agent hat einen eigenen Token, und eine Gruppe, die einen Crawler nennt, ersetzt nach RFC 9309 für diesen Crawler die Gruppe *. Üblich ist, Suche und Abrufe durch Nutzer zu erlauben und das Training auszuschließen:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic unterstützt außerdem Crawl-delay als nicht standardisierte Erweiterung, zum Beispiel Crawl-delay: 1 unter User-agent: ClaudeBot, wenn Sie das Crawling bremsen statt sperren möchten. Die Regeln müssen in der robots.txt im obersten Verzeichnis jedes Hosts stehen; fügen Sie sie daher jeder Subdomain hinzu, die abgedeckt sein soll.

Wie schneidet das Setup von Anthropic im Vergleich zu OpenAI und Perplexity ab?

Die drei Anbieter folgen demselben Muster mit unterschiedlichen Namen, sodass sich eine gemeinsame robots.txt leicht durchdenken lässt. Der Hauptunterschied liegt darin, wie jeder die robots.txt bei Live-Abrufen auf Nutzerwunsch behandelt.

Wenn Sie eine robots.txt für alle drei schreiben, setzen Sie die Such- und User-Token in eine Gruppe und die Training-Token in eine andere. So bleibt die Richtlinie lesbar, und es ist klar, welche Entscheidung Sie für welchen Zweck getroffen haben.

Sollte ich Anthropic per IP-Adresse sperren?

Anthropic rät davon ab. Laut seiner Dokumentation funktioniert das Sperren von IP-Adressen möglicherweise nicht richtig oder garantiert keinen dauerhaften Ausschluss, weil es den Crawler auch daran hindert, Ihre robots.txt zu lesen. Legen Sie Ihre Richtlinie in der robots.txt fest.

Anthropic veröffentlicht die IP-Adressen seiner Crawler unter claude.com/crawling/bots.json. Sinnvoll nutzen Sie diese Liste umgekehrt zum Sperren: Ihre Firewall prüft damit, ob eine Anfrage, die sich als Claude-SearchBot oder Claude-User ausgibt, wirklich von Anthropic stammt, und lässt sie durch.

Warum könnte Claude meine Seite trotzdem nicht lesen?

Selbst bei großzügiger robots.txt kann Ihre Firewall oder Ihr CDN den Agenten von Anthropic mit einem 403 oder einer Challenge-Seite antworten. Laut Anthropic respektieren seine Bots Technologien gegen Umgehung und versuchen nicht, CAPTCHAs zu umgehen; eine Challenge-Seite beendet den Besuch also einfach. Auch Seiten, deren Text erst nach der Ausführung von JavaScript erscheint, können fast leer ankommen.

AISeeWhy ruft Ihre Seite als ClaudeBot, Claude-SearchBot und Claude-User neben einem Browser ab und prüft Ihre robots.txt-Regeln für jeden, sodass Sie sehen, ob die Richtlinie, die Sie geschrieben haben, auch die ist, die Ihr Server durchsetzt.

Häufige Fragen

Nimmt das Sperren von ClaudeBot meine Website aus den Antworten von Claude heraus?

Nicht allein dadurch. Suchindexierung und Abrufe durch Nutzer laufen über Claude-SearchBot und Claude-User, die eigene robots.txt-Token haben.

Befolgt Claude-User die robots.txt?

Anthropic sagt, seine Bots befolgen die robots.txt, und beschreibt das Sperren von Claude-User dort, mit der Folge, dass Claude Ihre Seiten für Fragen von Nutzern nicht abrufen kann.

Lösen die Crawler von Anthropic ein CAPTCHA?

Nein. Laut Anthropic respektieren seine Bots Technologien gegen Umgehung und versuchen nicht, CAPTCHAs zu umgehen.

Kann ich ClaudeBot bremsen, statt ihn zu sperren?

Ja. Anthropic unterstützt Crawl-delay als nicht standardisierte Erweiterung, zum Beispiel Crawl-delay: 1 in der Gruppe ClaudeBot Ihrer robots.txt.

Wie kann ich prüfen, ob eine Anfrage wirklich von Anthropic kommt?

Vergleichen Sie die Quell-IP mit der Liste, die Anthropic unter claude.com/crawling/bots.json veröffentlicht. Ein User-Agent allein lässt sich von jedem kopieren.

Quellen

Weitere Artikel