robots.txt für KI-Crawler: was Sie erlauben und was Sie sperren

Q: Unterstützen KI-Crawler Crawl-delay?

Es ist nicht Teil von RFC 9309. Anthropic gibt an, Crawl-delay als nicht standardisierte Erweiterung zu unterstützen; bei anderen Anbietern lesen Sie die Dokumentation.

Q: Wo muss die robots.txt liegen?

Im Stammverzeichnis jedes Hosts, zum Beispiel https://example.com/robots.txt. Eine Datei in einem Unterordner wird ignoriert, und jede Subdomain braucht ihre eigene.

Veröffentlicht 2026-11-12

Kurz gesagt

Geben Sie jedem KI-Crawler, der Ihnen wichtig ist, eine eigene User-agent-Gruppe. Erlauben Sie Suchcrawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot, wenn Sie zitiert werden möchten, und entscheiden Sie getrennt über Training-Token wie GPTBot, ClaudeBot, Google-Extended und Applebot-Extended. Eine benannte Gruppe ersetzt für diesen Crawler die Gruppe *.

Die robots.txt ist eine einfache Textdatei, die auf das Jahr 1994 zurückgeht und 2022 als RFC 9309 zum formalen Standard wurde. Die meisten KI-Anbieter geben an, dass ihre Crawler sie befolgen, und mehrere veröffentlichen getrennte Token für Suche und Training. Damit ist die robots.txt der einfachste Ort, um eine KI-Richtlinie festzulegen, sofern die Regeln das bedeuten, was Sie denken.

Auf dieser Seite

Welche robots.txt-Token verwenden KI-Crawler?
Wie sieht eine gute robots.txt für KI aus?
Wie wählen Crawler die für sie geltenden Regeln aus?
Was sind die häufigsten Fehler in der robots.txt?
Kann ich eine KI-Nutzungsrichtlinie über Allow und Disallow hinaus festlegen?
Wie lange dauern Änderungen, und wie prüfe ich sie?

Welche robots.txt-Token verwenden KI-Crawler?

Dies sind die Token, die die Anbieter dokumentieren. Nach RFC 9309 wird die Groß- und Kleinschreibung nicht beachtet.

OpenAI: OAI-SearchBot (ChatGPT-Suche), GPTBot (Training), ChatGPT-User (vom Nutzer angeforderte Besuche; laut OpenAI gilt die robots.txt möglicherweise nicht).
Anthropic: Claude-SearchBot (Suche), ClaudeBot (Training), Claude-User (vom Nutzer angeforderte Besuche).
Perplexity: PerplexityBot (Suche), Perplexity-User (vom Nutzer angeforderte Besuche; laut Perplexity wird die robots.txt in der Regel ignoriert).
Google: Googlebot (Suche, einschließlich der KI-Funktionen) und Google-Extended, ein Token ohne eigenen Crawler, der die Nutzung für das Training und das Grounding von Gemini steuert.
Apple: Applebot (Spotlight, Siri, Safari-Suche) und Applebot-Extended, der nicht crawlt, aber die Nutzung für das Training der Foundation Models von Apple steuert.
Meta: meta-externalagent (Training und Produktindexierung) und meta-webindexer (Meta-AI-Suche).
Common Crawl: CCBot, der das kostenlose öffentliche Webdaten-Archiv von Common Crawl aufbaut.

Wie sieht eine gute robots.txt für KI aus?

Dieses Beispiel lässt KI-Suche und Abrufe durch Nutzer zu, schließt die wichtigsten Training-Token aus und hält einen privaten Bereich für alle gesperrt:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Mehrere User-agent-Zeilen hintereinander bilden eine Gruppe, die darunter stehenden Regeln gelten also für jeden dieser Crawler. Wenn Ihre Inhalte für das Training verwendet werden dürfen, lassen Sie die zweite Gruppe einfach weg. Das Sperren von Google-Extended wirkt sich nicht auf die Google-Suche aus: Laut Google beeinflusst es die Aufnahme in die Suche nicht und ist kein Ranking-Signal. Ebenso sagt Apple, dass Seiten, die Applebot-Extended per Disallow ausschließen, weiterhin in den Suchergebnissen erscheinen können.

Wie wählen Crawler die für sie geltenden Regeln aus?

RFC 9309 legt das genau fest, und die Details erklären die meisten Überraschungen:

Ein Crawler sucht die Gruppe, deren User-agent zu seinem Produkt-Token passt, ohne Beachtung der Groß- und Kleinschreibung. Passen mehrere Gruppen, werden ihre Regeln zu einer zusammengefasst.
Nur wenn keine Gruppe passt, folgt der Crawler der Gruppe User-agent: *. Eine benannte Gruppe erbt nichts von *.
Innerhalb der Gruppe gewinnt die Regel mit dem längsten passenden Pfad. Allow: /blog/ schlägt Disallow: / für /blog/post.
Passen eine Allow- und eine Disallow-Regel mit gleicher Länge, sollte Allow verwendet werden.
* in einem Pfad steht für beliebige Zeichen und $ markiert das Ende; Disallow: /*.pdf$ erfasst also jede PDF-Datei.

Was sind die häufigsten Fehler in der robots.txt?

Zu erwarten, dass eine benannte Gruppe von * erbt. Eine Gruppe für OAI-SearchBot mit nur Allow: / öffnet jeden Pfad, auch die, die Sie unter * gesperrt haben.
Eine robots.txt-Adresse, die eine HTML-Seite liefert, oft eine 404-Seite mit Status 200. Crawler finden darin keine gültigen Regeln.
Eine robots.txt, die einen Serverfehler liefert. Laut RFC 9309 muss ein Crawler dann annehmen, dass die gesamte Website gesperrt ist. Ein 404 ist etwas anderes: Er bedeutet, dass es keine Einschränkungen gibt.
Einen Such-Token sperren, obwohl das Training gemeint war, zum Beispiel PerplexityBot oder Claude-SearchBot per Disallow auszuschließen, um Modelltraining zu vermeiden.
Sich darauf verlassen, dass die robots.txt vom Nutzer angeforderte Abrufe stoppt. OpenAI und Perplexity geben beide an, dass ihre User-Agents sie möglicherweise nicht befolgen.
Subdomains vergessen. Jeder Host hat seine eigene robots.txt; die Dokumentation von Anthropic erinnert Website-Betreiber daran, Regeln für jede Subdomain hinzuzufügen.

Kann ich eine KI-Nutzungsrichtlinie über Allow und Disallow hinaus festlegen?

Cloudflare hat für die robots.txt eine Zeile Content-Signal mit drei Signalen vorgeschlagen: search (Aufbau eines Suchindex und Anzeige von Links und kurzen Auszügen), ai-input (Nutzung von Inhalten in Echtzeit für KI-Antworten) und ai-train (Training oder Fine-Tuning von Modellen). Die verwaltete robots.txt von Cloudflare kann sie für Sie hinzufügen.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Wie alles in der robots.txt sind dies Präferenzen, keine technischen Kontrollen. Cloudflare selbst weist darauf hin, dass die Einhaltung der robots.txt freiwillig ist. Die Zeile ist optional und schadet nicht, ersetzt aber nicht die Gruppen je Crawler weiter oben.

Wie lange dauern Änderungen, und wie prüfe ich sie?

Laut RFC 9309 sollten Crawler eine zwischengespeicherte robots.txt nicht länger als 24 Stunden verwenden, und OpenAI und Perplexity geben beide an, dass Änderungen etwa einen Tag brauchen können. Denken Sie auch daran, dass die robots.txt keine Zugriffskontrolle ist: Eine Firewall kann einen Crawler weiterhin blockieren, den Ihre Regeln erlauben.

AISeeWhy liest Ihre robots.txt nach RFC 9309 für jeden getesteten Crawler, markiert Dateien, die nicht erreichbar sind oder als HTML ausgeliefert werden, zeigt, wo Ihre Regeln und Ihr Server sich widersprechen, und liefert einen fertigen Diff für die Änderung.

Häufige Fragen

Schadet das Sperren von GPTBot oder ClaudeBot meiner Sichtbarkeit in KI-Antworten?

Nicht direkt. Beide Anbieter nutzen für die Suche eigene Suchcrawler, OAI-SearchBot und Claude-SearchBot. Den Training-Crawler zu sperren ist eine Richtlinienentscheidung.

Stoppt Google-Extended die AI Overviews?

Nein. Laut Google nutzen KI-Funktionen in der Suche Googlebot und die üblichen Suchsteuerungen wie nosnippet und noindex. Google-Extended betrifft das Training und Grounding von Gemini in anderen Google-Produkten und wirkt sich nicht auf die Suche aus.

Unterstützen KI-Crawler Crawl-delay?

Es ist nicht Teil von RFC 9309. Anthropic gibt an, Crawl-delay als nicht standardisierte Erweiterung zu unterstützen; bei anderen Anbietern lesen Sie die Dokumentation.

Wo muss die robots.txt liegen?

Im Stammverzeichnis jedes Hosts, zum Beispiel https://example.com/robots.txt. Eine Datei in einem Unterordner wird ignoriert, und jede Subdomain braucht ihre eigene.