Was ist Content-Signal in der robots.txt, und hält sich jemand daran?
Content-Signal ist eine optionale robots.txt-Zeile, von Cloudflare veröffentlicht, die festlegt, wie Ihre Inhalte nach dem Abruf verwendet werden dürfen: search für Suchergebnisse, ai-input für die Verwendung in KI-Antworten und ai-train für das Training von Modellen, jeweils auf yes oder no gesetzt, wie in Content-Signal: search=yes, ai-input=yes, ai-train=no. Sie drückt eine Präferenz aus und blockiert nichts. Stand November 2026 sagt keine Crawler-Seite von OpenAI, Anthropic, Google oder Perplexity, dass die Zeile ausgewertet wird; die großen KI-Unternehmen unterstützen stattdessen ein anderes Token, das nur das Training betrifft.
Die robots.txt wurde geschaffen, um zu sagen, wohin ein Crawler darf, nicht was mit dem Gelesenen geschehen darf. Seit derselbe Abruf einen Suchindex, eine Live-KI-Antwort und einen Trainingsdatensatz speisen kann, ist diese Lücke wichtig. Cloudflare hat die Content Signals Policy am 24. September 2025 unter einer CC0-Lizenz veröffentlicht, um sie zu schließen, und sagte damals, dass seine Kunden die verwaltete robots.txt bereits für über 3,8 Millionen Domains aktiviert hätten, eine Funktion, die die Zeile heute für sie hinzufügt.
Auf dieser Seite
- Was bedeuten search, ai-input und ai-train?
- Wie schreibe ich eine Content-Signal-Zeile in die robots.txt?
- Was sagt der Policy-Text über der Zeile?
- Steht Content-Signal schon in meiner robots.txt?
- Halten sich KI-Crawler an Content-Signal?
- Sollte ich Content-Signal in meine robots.txt aufnehmen?
- Wie prüfe ich, was meine robots.txt jedem Crawler sagt?
Was bedeuten search, ai-input und ai-train?
Die Policy definiert drei Signale. Die Formulierungen unten folgen contentsignals.org und dem Policy-Text, den Cloudflare veröffentlicht:
search: einen Suchindex aufbauen und Suchergebnisse liefern, zum Beispiel Hyperlinks und kurze Auszüge aus Ihren Seiten zurückgeben. Laut Definition umfasst search keine KI-generierten Zusammenfassungen in der Suche.ai-input: Inhalte in ein oder mehrere KI-Modelle eingeben, zum Beispiel für Retrieval Augmented Generation, Grounding oder andere Echtzeitnutzung von Inhalten für generative KI-Suchantworten.ai-train: KI-Modelle trainieren oder feinabstimmen.
Jedes Signal nimmt yes oder no an. Im Sinne der Policy bedeutet yes, dass Inhalte für diese Nutzung gesammelt werden dürfen, no, dass sie es nicht dürfen, und ein weggelassenes Signal erlaubt oder beschränkt diese Nutzung weder. Die Voreinstellung von Cloudflare setzt search und ai-train und lässt ai-input offen, weil Cloudflare nach eigener Aussage die Präferenz jedes Kunden für dieses Signal nicht kennt und nicht raten will.
Die Trennung zwischen search und ai-input übersehen die meisten. Wenn Ihre Seiten in KI-Antworten verwendet werden sollen, sagt search=yes allein das nicht aus. ai-input=yes schon.
Wie schreibe ich eine Content-Signal-Zeile in die robots.txt?
Content-Signal steht innerhalb einer User-Agent-Gruppe, neben Allow und Disallow, mit durch Kommas getrennten Signalen. contentsignals.org zeigt auch eine Form, die mit einem Pfad beginnt, sodass ein Bereich der Website andere Signale tragen kann als der Rest:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow und Disallow funktionieren genau wie vorher, und Content-Signal ersetzt sie nicht. RFC 9309 erlaubt Crawlern, Einträge auszuwerten, die nicht zum Protokoll gehören, solange das die definierten Regeln nicht beeinträchtigt; ein Parser, der die Zeile nicht kennt, sollte sie also überspringen.
Zwei Details sollten Sie kennen. Erstens gehört die Zeile zu einer Gruppe. Nach RFC 9309 ignoriert ein Crawler, der eine Gruppe mit seinem eigenen Namen hat, die Gruppe User-agent: * vollständig, und die Seiten zu Content Signals beschreiben für diese Zeile keine Ausnahme. Wenn Sie Googlebot oder OAI-SearchBot eine eigene Gruppe geben, wiederholen Sie die Content-Signal-Zeile dort, wie contentsignals.org es in seinem Beispiel pro Crawler tut. Zweitens kann die Google Search Console für die Zeile Syntax not understood melden. Die Dokumentation von Cloudflare erwähnt das und sagt, dass keine Auswirkung auf Crawling oder SEO beobachtet wurde. Die robots.txt-Dokumentation von Google nennt als unterstützte Felder nur user-agent, allow, disallow und sitemap.
Was sagt der Policy-Text über der Zeile?
Die Content Signals Policy ist mehr als eine Zeile. Der Generator von Cloudflare auf contentsignals.org und seine verwaltete robots.txt setzen beide einen Kommentarblock über die Signale. Er beginnt mit der Aussage, dass Sie sich als Bedingung für den Zugriff auf die Website verpflichten, die Content Signals einzuhalten, definiert dann die drei Signale und die Fälle yes, no und „fehlt“.
Er endet mit einem Satz in Großbuchstaben, nach dem alle über Content Signals ausgedrückten Einschränkungen ausdrückliche Rechtevorbehalte nach Artikel 4 der EU-Richtlinie 2019/790 über das Urheberrecht im digitalen Binnenmarkt sind. Die Ankündigung von Cloudflare ergänzt, dass die Signale in verschiedenen Rechtsordnungen rechtliches Gewicht haben können.
contentsignals.org selbst warnt, dass Gerichte und Behörden zu dem Schluss kommen könnten, dass robots.txt-Dateien keine durchsetzbaren rechtlichen Pflichten begründen, und empfiehlt, einen Anwalt zu fragen. Betrachten Sie den Kommentarblock als schriftliche Darlegung Ihrer Position, nicht als Vertrag.
Steht Content-Signal schon in meiner robots.txt?
Wenn Ihre Website bei Cloudflare liegt, möglicherweise, und zwar auf eine von zwei Arten:
- Verwaltete robots.txt. Wenn Bot Preference Sync aktiv ist und mindestens eine AI Crawler and Agent access policy auf Block, Block on pages with ads oder, für Training, auf Disallow steht, stellt Cloudflare der robots.txt, die Ihr Server sendet, einen verwalteten Block voran. Er enthält den Policy-Text,
Content-signal: search=yes, ai-train=no, use=referenceunterUser-Agent: *undDisallow: /fürAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotundmeta-externalagent. - Gar keine robots.txt. Laut Cloudflare zeigen Domains im Free-Plan, die keine eigene robots.txt haben und die verwaltete Funktion nicht nutzen, die Content Signals Policy, wenn ein Crawler
/robots.txtanfragt. Diese Version enthält die Definitionen, aber keine Präferenz.
Der Teil use=reference ist neu. Cloudflare beschreibt use als optionales viertes Feld, das es testet, mit drei Werten: immediate (interagieren, aber nichts speichern oder wiederverwenden), reference (indexieren, zitieren und zurückverlinken) und full (zusammenfassen und wiedergeben). Es gehört nicht zu den drei ursprünglichen Signalen, und keine der von uns geprüften Crawler-Dokumentationen erwähnt es.
Weil Cloudflare diese Zeilen am Edge hinzufügt, kann die Datei in Ihrem Repository unverändert aussehen, während die Datei, die Crawler erhalten, eine andere ist. Rufen Sie die live geschaltete https://yourdomain.com/robots.txt ab, bevor Sie eine eigene Zeile hinzufügen, damit die Antwort nicht zwei verschiedene Richtlinien nennt.
Unter großen Websites ist die Verbreitung noch gering. In unserer Studie der 1.000 beliebtesten Domains vom November 2026 nutzten 18 der 518 Websites mit einer robots.txt (3,5 %) Content-Signal.
Halten sich KI-Crawler an Content-Signal?
Nicht laut irgendeiner Dokumentation, die wir finden konnten. Am 17. November 2026 haben wir die Crawler-Seiten von OpenAI, Anthropic, Google und Perplexity geprüft, und keine erwähnt Content-Signal. Cloudflare selbst beschreibt die Signale als Präferenzen, nicht als technische Gegenmaßnahmen gegen Scraping, und sagt, dass manche Unternehmen sie schlicht ignorieren könnten.
Dokumentiert haben die KI-Unternehmen stattdessen einen eigenen Mechanismus, der auf Arbeiten in der IETF-Arbeitsgruppe AI Preferences beruht: ein Policy-Token, __usage_ai-training, das als gewöhnliche User-Agent-Gruppe geschrieben wird. Es betrifft nur das Training, und der Internet-Draft, der es definiert, sagt, dass eine Gruppe User-Agent: * nicht als Verwendung des Tokens zählt:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Die Unterstützung ist uneinheitlich und liegt teils noch in der Zukunft. Laut Anthropic erkennt es seit dem 30. Oktober 2026 ein allgemeines maschinenlesbares Trainingssignal, führt es schrittweise ein, und eine Regel, die ClaudeBot nennt, hat Vorrang davor. Microsoft dokumentiert das Token __usage_ai-training für Bing; die neuen Präferenzen greifen, wenn Seiten ab dem 1. Februar 2027 gecrawlt werden. Google will die gemeinsame Steuerung 2027 unterstützen und plant, einen Trainings-Opt-out darüber als Disallow von Google-Extended zu behandeln, wenn dieses Token nicht genannt ist. OpenAI veröffentlichte am selben Tag eine Ankündigung, dass es das gemeinsame Signal beachten wird, ohne Datum.
ai-train=no und __usage_ai-training sagen also Ähnliches, aber nur das zweite wird von KI-Unternehmen nachweislich unterstützt. Die Tokens pro Crawler, etwa GPTBot und ClaudeBot, bleiben die Steuerung, die jeder Anbieter heute anwendet.
Sollte ich Content-Signal in meine robots.txt aufnehmen?
Nehmen Sie es auf, wenn Sie Ihre Nutzungsrichtlinie an einer Stelle festhalten wollen, die Maschinen und Menschen lesen können. Es drückt außerdem in einer einzigen Zeile eine ai-input-Präferenz für jeden Crawler aus, was die Tokens der Anbieter nur Crawler für Crawler können. Es kostet eine Zeile, und Parser, die sie nicht kennen, überspringen sie.
Verlassen Sie sich nicht allein darauf. Um Inhalte aus dem Training herauszuhalten, sperren Sie zusätzlich die dokumentierten Trainings-Tokens und ziehen Sie das gemeinsame Trainings-Token in Betracht; unser Leitfaden zum Sperren von KI-Training bei gleichzeitiger Sichtbarkeit in der KI-Suche listet die Tokens pro Anbieter. Gegen alles, was die robots.txt ignoriert, setzt nur eine Firewall-Regel eine Sperre durch.
Prüfen Sie zum Schluss, ob die Zeile zum Rest der Datei passt. ai-input=no neben einer Allow-Gruppe für OAI-SearchBot oder PerplexityBot sendet widersprüchliche Signale: Sie lassen die KI-Such-Crawler herein und sagen zugleich, dass ihre Antworten das Abgerufene nicht verwenden dürfen.
Wie prüfe ich, was meine robots.txt jedem Crawler sagt?
Der kostenlose robots.txt-Checker von AISeeWhy nimmt eine Seitenadresse oder eine eingefügte robots.txt und zeigt für jeden KI- und Such-Crawler, ob diese Seite abgerufen werden darf; so können Sie bestätigen, dass die live geschaltete Datei, einschließlich allem, was Cloudflare vorangestellt hat, das sagt, was Sie meinten. Der kostenlose robots.txt-Generator erstellt eine Datei aus Ihren Vorgaben.
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Gehört Content-Signal zum robots.txt-Standard?
Nein. RFC 9309 definiert User-agent, Allow und Disallow und erlaubt Crawlern, andere Einträge auszuwerten. Content-Signal stammt aus der Content Signals Policy von Cloudflare, veröffentlicht unter einer CC0-Lizenz. Unabhängig davon entwirft die IETF-Arbeitsgruppe AI Preferences eine eigene Regel Content-Usage für die robots.txt, die noch ein Internet-Draft ist, kein Standard.
Stoppt ai-train=no GPTBot oder ClaudeBot?
Nicht nach dem, was die Anbieter dokumentieren. OpenAI und Anthropic beschreiben die Steuerung über robots.txt-Regeln, die GPTBot und ClaudeBot nennen, und keine der beiden Crawler-Seiten erwähnt Content-Signal. Um bei einem von beiden das Training abzulehnen, sperren Sie das Token namentlich.
Was ist der Unterschied zwischen Content-Signal und __usage_ai-training?
Content-Signal ist eine Zeile innerhalb einer Gruppe und deckt Suche, KI-Eingabe und Training ab. __usage_ai-training ist ein Policy-Token, das als eigene User-Agent-Gruppe verwendet wird, und betrifft nur das Training. Anthropic, Microsoft, Google und OpenAI haben Erklärungen zum gemeinsamen Trainingssignal veröffentlicht; keines davon dokumentiert Content-Signal.
Warum meldet die Google Search Console „Syntax not understood“?
Die robots.txt-Dokumentation von Google unterstützt nur user-agent, allow, disallow und sitemap, andere Zeilen können also markiert werden. Laut Cloudflare wurde durch diese Meldungen keine Auswirkung auf Crawling-Raten oder SEO beobachtet.
Was bedeutet use=reference?
Es ist ein viertes Feld, das Cloudflare testet. reference bedeutet indexieren, zitieren und zurückverlinken. Cloudflare fügt es in verwaltete robots.txt-Dateien ein, und keine der von uns geprüften Crawler-Dokumentationen erwähnt es.
Quellen
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Bericht zum Zugriff von KI-Crawlern, 2026-11