AISeeWhy
DE
Kostenlos testen

KI-Training sperren und in KI-Suchantworten bleiben

Veröffentlicht

Kurz gesagt

Die meisten KI-Anbieter verwenden getrennte robots.txt-Tokens für das Modelltraining und für die Suche. Sperren Sie die Trainings-Tokens wie GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent und CCBot, und erlauben Sie die Such- und Nutzer-Tokens wie OAI-SearchBot, Claude-SearchBot und PerplexityBot. Fügen Sie eine Content-Signal-Zeile hinzu, um dieselbe Präferenz in Worten festzuhalten.

Viele Website-Betreiber wollen zweierlei: Ihre Inhalte sollen nicht zum Training von KI-Modellen verwendet werden, aber KI-Assistenten sollen ihre Seiten finden, zitieren und verlinken. Weil die großen Anbieter diese Aufgaben inzwischen auf verschiedene Crawler oder Tokens verteilen, kann die robots.txt beide Entscheidungen ausdrücken. Der Haken: Die Namen unterscheiden sich je nach Anbieter, einige Anbieter passen nicht ins Muster, und eine falsche Zeile kann Sie aus den KI-Antworten entfernen statt aus den Trainingsdaten.

Auf dieser Seite
  1. Was ist der Unterschied zwischen einem Trainingscrawler und einem Suchcrawler?
  2. Welche Tokens steuern das Training und welche die Suche?
  3. Wie sieht die robots.txt aus?
  4. Wie viele Websites machen das bereits?
  5. Was bringt Content-Signal zusätzlich?
  6. Wo funktioniert die Trennung nicht sauber?
  7. Wie prüfe ich, ob die Trennung funktioniert?

Was ist der Unterschied zwischen einem Trainingscrawler und einem Suchcrawler?

Ein Trainingscrawler sammelt Seiten, die zum Aufbau oder zur Verbesserung von KI-Modellen verwendet werden können. Das Training allein erzeugt weder ein Zitat noch einen Link. Ein Suchcrawler baut einen Index auf, mit dem ein KI-Assistent Quellen für eine Antwort findet, und diese Quellen kann er zitieren. Ein nutzerausgelöster Abruf öffnet eine Seite live, weil jemand danach gefragt hat.

Die Anbieter dokumentieren diese Rollen getrennt und geben an, dass die Einstellungen unabhängig voneinander sind. OpenAI sagt zum Beispiel, dass jede robots.txt-Einstellung für seine Crawler unabhängig von den anderen ist. Ein korrekt gesetztes Opt-out vom Training lässt Ihre Sichtbarkeit in der Suche daher unberührt.

Welche Tokens steuern das Training und welche die Suche?

Dies sind die Tokens, die die Anbieter dokumentieren, gruppiert nach dem, was sie steuern:

Wie sieht die robots.txt aus?

Mehrere aufeinanderfolgende User-agent-Zeilen bilden nach RFC 9309 eine Gruppe, sodass die Regeln für jede von ihnen gelten. Diese Datei schließt die oben genannten Trainings-Tokens aus, erlaubt die Such- und Nutzer-Agenten und hält einen privaten Pfad für alle geschlossen:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Zwei Details sind wichtig. Erstens erbt eine benannte Gruppe nichts von *, sodass private Pfade in der Suchgruppe wiederholt werden müssen. Zweitens sollten Sie Googlebot oder Applebot nicht in die Trainingsgruppe aufnehmen: Sie sind die Suchcrawler, und sie zu sperren entfernt Sie aus der Google-Suche und den Suchfunktionen von Apple. Änderungen wirken nicht sofort: OpenAI nennt für die Suche etwa 24 Stunden, und Perplexity gibt bis zu 24 Stunden an.

Wie viele Websites machen das bereits?

Weniger, als Sie vielleicht erwarten. Wir haben am 2026-11-12 die robots.txt-Dateien der 1.000 beliebtesten Domains der Tranco-Liste gelesen. Von den 518, die eine robots.txt auslieferten, sperren 155 (29,9 %) die Startseite für mindestens einen KI-Trainingscrawler. Nur 57 (11,0 %) gehen den selektiven Weg: Sie sperren Trainingscrawler und erlauben jeden von uns getesteten KI-Such- und Nutzercrawler. Insgesamt sperren 101 Websites (19,5 %) mindestens einen KI-Such- oder Nutzercrawler.

Die Zahlen je Crawler zeigen dieselbe Aufteilung. GPTBot ist auf 111 Websites (21,4 %) gesperrt und OAI-SearchBot auf 58 (11,2 %). ClaudeBot ist auf 110 (21,2 %) gesperrt und Claude-SearchBot auf 67 (12,9 %). Google-Extended ist auf 94 (18,1 %) gesperrt, Googlebot auf 14 (2,7 %). Nur 18 Websites (3,5 %) verwenden Content-Signal.

Die Untersuchung betrachtet nur robots.txt-Regeln für die Startseite. Sie misst keine Firewall-Sperren und zeigt nicht, was die einzelnen Websites beabsichtigt haben.

Was bringt Content-Signal zusätzlich?

Content Signals ist eine robots.txt-Erweiterung, die Cloudflare unter contentsignals.org veröffentlicht hat. Eine Content-Signal-Zeile legt fest, wie Inhalte verwendet werden dürfen, mit drei Signalen: search (Aufbau eines Suchindex und Anzeige von Links und kurzen Auszügen), ai-input (Einspeisen von Inhalten in KI-Modelle in Echtzeit, etwa als Grounding oder Retrieval für generative Antworten) und ai-train (Training oder Feinabstimmung von Modellen).

Beachten Sie, dass die Definition von search KI-generierte Suchzusammenfassungen ausschließt. Wenn Sie in KI-Antworten erscheinen möchten, setzen Sie zusätzlich ai-input=yes, wie im Beispiel oben. Die verwaltete robots.txt von Cloudflare fügt standardmäßig search=yes, ai-train=no hinzu; ein Signal, das Sie weglassen, erlaubt oder beschränkt diese Nutzung weder.

Das sind erklärte Präferenzen. Laut der Content-Signals-Website verhindern sie das Crawling nicht auf technischer Ebene, und Cloudflare weist darauf hin, dass die Einhaltung der robots.txt freiwillig ist. Keine der von uns geprüften Crawler-Seiten von OpenAI, Anthropic, Google oder Perplexity sagt, ob Content-Signal gelesen wird. Betrachten Sie es daher als Ergänzung zu den Gruppen für die einzelnen Crawler, nicht als Ersatz.

Wo funktioniert die Trennung nicht sauber?

Einige Fälle verlangen Sorgfalt:

Wie prüfe ich, ob die Trennung funktioniert?

Lesen Sie Ihre robots.txt so, wie es jeder Crawler tun würde: Suchen Sie die Gruppe, die ihn nennt, greifen Sie nur auf * zurück, wenn keine ihn nennt, und wenden Sie die längste passende Regel an. Rufen Sie dann eine Seite mit dem User-Agent jedes Suchcrawlers ab und bestätigen Sie, dass er ein 200 mit dem vollständigen Inhalt erhält, nicht ein 403 oder eine Challenge-Seite.

AISeeWhy macht beides für 14 Crawler, gruppiert als Trainings-, Such- und Nutzer-Agenten, und markiert den häufigsten Fehler: ein Such-Token wie PerplexityBot oder Claude-SearchBot zu sperren, obwohl man das Training sperren wollte.

Häufige Fragen

Entfernt das Sperren von GPTBot meine Website aus den Antworten von ChatGPT?

Nein. Laut OpenAI dient GPTBot dem Training, und jede robots.txt-Einstellung ist unabhängig. Die ChatGPT-Suche nutzt OAI-SearchBot; solange dieser erlaubt ist und nicht von Ihrer Firewall blockiert wird, kommen Ihre Seiten weiterhin infrage.

Entfernt das Sperren von Google-Extended mich aus AI Overviews?

Laut der Dokumentation von Google nicht. Google gibt an, dass Google-Extended die Aufnahme in die Google-Suche nicht beeinflusst und dass AI Overviews auf den Suchindex zurückgreifen. Google bietet eine eigene Steuerung in der Search Console, um eine Website von AI Overviews und AI Mode auszuschließen.

Gibt es eine einzelne Zeile, die jedes KI-Training sperrt?

Nein, eine solche Standardzeile gibt es nicht. Content-Signal: ai-train=no erklärt die Präferenz gegenüber allen Crawlern, ob ein Crawler sie beachtet, hängt aber vom Betreiber ab. Benannte Gruppen für jedes Trainings-Token sind der dokumentierte Weg.

Sollte ich Perplexity sperren, um das KI-Training zu stoppen?

Laut Perplexity werden seine Agenten nicht zum Sammeln von Trainingsdaten verwendet. Das Sperren von PerplexityBot verringert Ihre Sichtbarkeit in den Suchergebnissen von Perplexity, ohne ein Opt-out vom Training zu sein.

Quellen

Weitere Artikel