So lesen Sie den Bericht von Cloudflare AI Crawl Control und sehen, welche KI-Crawler hineinkommen
Öffnen Sie AI Crawl Control in Ihrem Cloudflare-Dashboard: Die Crawler-Liste zeigt jeden KI-Crawler, den Cloudflare auf Ihrer Domain gesehen hat, seine Anfragen, seine robots.txt-Verstöße und ob seine Aktion Allow oder Block ist. Um in der KI-Suche zu bleiben und trotzdem Training abzulehnen, erlauben Sie dort oder unter den AI Crawler and Agent access policies die Such- und Agent-Crawler und blockieren oder verbieten (Disallow) die Trainings-Crawler. Bestätigen Sie das Ergebnis dann von außen mit curl, denn andere Cloudflare-Funktionen können einen erlaubten Crawler trotzdem blockieren.
Bei Cloudflare entscheiden jetzt zwei Stellen, was KI-Crawler erhalten: AI Crawl Control, der Bericht und die Schaltzentrale pro Crawler, die früher AI Audit hieß, und die zonenweiten AI Crawler and Agent access policies in den Security-Einstellungen. Beide gibt es im Free-Tarif, beide haben sich 2026 geändert, und keine von beiden informiert Sie über all die anderen Funktionen, die einem Crawler trotzdem mit einem 403 antworten können. Dieser Leitfaden geht den Bericht Spalte für Spalte durch, zeigt, wo Sie Allow und Block setzen, und endet mit einem Test, den Sie auf Ihrem eigenen Rechner ausführen können.
Auf dieser Seite
- Wo finde ich den KI-Crawler-Bericht in Cloudflare?
- Was bedeuten die Spalten und Kennzahlen im Bericht von AI Crawl Control?
- Wie erlaube ich in Cloudflare KI-Such-Crawler und blockiere Trainings-Crawler?
- Was hat sich an Cloudflares Standardeinstellungen für KI-Crawler geändert?
- Warum blockiert Cloudflare KI-Crawler weiterhin, obwohl ich sie erlaubt habe?
- Wie prüfe ich von außen, welche KI-Crawler Cloudflare hereinlässt?
- Wie prüft AISeeWhy, was Cloudflare an KI-Crawler ausliefert?
Wo finde ich den KI-Crawler-Bericht in Cloudflare?
Wählen Sie im Dashboard Ihr Konto und Ihre Domain und öffnen Sie dann AI Crawl Control. Laut Cloudflare funktioniert es ohne Konfiguration und ist in allen Tarifen verfügbar, sofern der Traffic Ihrer Domain über den Cloudflare-Proxy läuft. Es hat vier Bereiche:
- Overview: eine Zusammenfassung mit allen Anfragen, der Veränderung des Volumens, dem häufigsten Statuscode, dem beliebtesten Pfad und Crawlern mit hohem Volumen, dazu ob die verwaltete robots.txt von Cloudflare aktiv ist, und Crawler gruppiert nach Betreiber wie OpenAI, Microsoft, Google, ByteDance, Anthropic und Meta.
- Die Crawler-Liste: eine Zeile pro KI-Crawler mit einer Spalte Action, in der Sie Allow oder Block wählen. Die Dokumentation von Cloudflare nennt diesen Tab auf einer Seite Crawlers und auf einer anderen Security; suchen Sie also nach der Tabelle mit der Spalte Action.
- Metrics: Anfragen im Zeitverlauf, Verteilung der Statuscodes, Inhaltsformat, beliebteste Pfade und in bezahlten Tarifen Referrals. Filter gibt es für Zeitraum, Crawler, Betreiber, Hostname und Pfad, und Sie können eine CSV exportieren.
- Directives: der Zustand Ihrer robots.txt-Datei und die Liste der robots.txt-Verstöße.
Zwei Tarifgrenzen zählen beim Lesen der Zahlen. Im Free-Tarif erkennt AI Crawl Control Crawler nur am User-Agent-String; es sieht also Crawler, die sich zu erkennen geben, und sonst nichts, und der Tab Metrics umfasst die letzten 24 Stunden. Bezahlte Tarife ergänzen die Erkennung über die Detection-ID von Bot Management, und Enterprise mit Bot Management erhält frei wählbare Zeiträume.
Was bedeuten die Spalten und Kennzahlen im Bericht von AI Crawl Control?
Cloudflare dokumentiert die Felder wie folgt. Die Definitionen sind wichtig, weil mehrere Zahlen mehr erfassen, als Sie vielleicht erwarten.
- Crawler und Category: der Name des Crawlers, sein Betreiber und seine Kategorie, etwa AI crawler, AI assistant oder Archiver.
- Requests: erlaubte plus erfolglose Anfragen, mit Trenddiagramm. Erfolglose Anfragen können von jeder Regel oder jedem Antwortfehler stammen, nicht nur von einer Sperre in AI Crawl Control; eine hohe Zahl bei einem erlaubten Crawler deutet also auf eine andere Regel oder auf Fehler auf Ihrem Origin-Server hin.
- Allowed requests: Anfragen, die einen Status zwischen 200 und 299 erhalten haben. Die Datenübertragung wird anhand der Bytes gemessen, die Cloudflare für erlaubte Anfragen gesendet hat.
- Robots.txt violations: wie oft der Crawler einen Pfad angefragt hat, den Ihre robots.txt verbietet. Cloudflare vergleicht frühere Anfragen mit Ihren aktuellen Regeln; eine heute hinzugefügte Regel kann also Anfragen markieren, die zum Zeitpunkt der Anfrage erlaubt waren.
- Action: Allow, Block oder, für Konten in der Beta von Pay per Crawl, Charge.
- Verteilung der Statuscodes: 2xx, 3xx, 4xx und 5xx. Die Gruppe 4xx enthält 403 von Sperren und 402 von Pay per Crawl.
- Referrals und Top-Referrer, nur in bezahlten Tarifen: Besuche, die von KI-Diensten kamen, zum Beispiel von chatgpt.com, und die Seiten, auf denen sie gelandet sind.
Lesen Sie den Bericht ausgehend von der gewählten Aktion. Ein Crawler auf Allow sollte überwiegend erlaubte Anfragen und 2xx-Codes zeigen. Zeigt er viele erfolglose Anfragen, öffnen Sie die Verteilung der Statuscodes gefiltert auf diesen Crawler und suchen Sie in Security Analytics die Regel, die geantwortet hat.
Wie erlaube ich in Cloudflare KI-Such-Crawler und blockiere Trainings-Crawler?
Das geht pro Crawler oder nach Verhalten. Pro Crawler öffnen Sie AI Crawl Control und setzen die Action für jede Zeile. Laut Cloudflare erstellt oder aktualisiert eine Sperre dort eine WAF Custom Rule in Ihrer Zone, die Sie in der WAF um Pfad-Ausnahmen erweitern können. In bezahlten Tarifen können Sie wählen, ob gesperrte Crawler einen 403 oder einen 402 erhalten, und einen Antworttext als Klartext festlegen.
Nach Verhalten gehen Sie zu Security, dann Settings, filtern nach Bot traffic und öffnen AI Crawler and Agent access policies. Cloudflare teilt KI-Traffic in drei Verhaltensweisen ein, und jede Richtlinie gilt für verifizierte Bots mit diesem Verhalten und für passende nicht verifizierte Bots:
- Search: Inhalte sammeln oder indexieren, um später Fragen beantworten zu können.
- Agent: in Echtzeit im Auftrag einer Person handeln, etwa Abrufe aus Chats und Browser-Agenten.
- Training: Inhalte sammeln, um Modelle zu trainieren oder feinabzustimmen, einschließlich Crawlern, die sowohl für Training als auch für Suche genutzt werden.
Jedes Verhalten lässt sich auf Block, Block on pages with ads oder Allow (do not block) setzen. Training hat zusätzlich Disallow, das Crawler nur per robots.txt bittet. Mit eingeschaltetem Bot Preference Sync stellt Cloudflare Ihrer robots.txt verwaltete Regeln voran, die Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot und meta-externalagent verbieten, fügt eine Content-Signals-Zeile hinzu und blockiert KI-Trainings-Crawler außerdem am Edge, mit Ausnahme von Crawlern, die sowohl für Suche als auch für Training genutzt werden.
Für die meisten Websites, die in KI-Antworten zitiert werden wollen, ist die sichere Kombination Search und Agent auf Allow und Training auf Disallow, dazu einzelne Block-Aktionen in AI Crawl Control für reine Trainings-Crawler, die Sie am Edge stoppen wollen.
Was hat sich an Cloudflares Standardeinstellungen für KI-Crawler geändert?
Am 1. Juli 2025 kündigte Cloudflare an, KI-Crawler standardmäßig zu blockieren, sofern sie die Urheber nicht bezahlen. Am 1. Juli 2026 ersetzte es den einzelnen Schalter Block AI bots durch die oben beschriebenen getrennten Richtlinien Search, Agent und Training, für alle Tarife einschließlich Free. Dieselbe Ankündigung besagte, dass bei neuen Domains, die ab dem 15. September 2026 eingerichtet werden, Training und Agent auf Seiten mit Werbung blockiert und Search erlaubt sein würden.
Die aktuelle Richtliniendokumentation von Cloudflare, zuletzt aktualisiert am 2. November 2026, sagt, dass neue Domains für alle drei Verhaltensweisen standardmäßig auf Allow (do not block) stehen. Da Cloudflares eigene Seiten zu verschiedenen Zeiten unterschiedliche Standards beschrieben haben, verlassen Sie sich für Ihre Zone auf keine davon: Öffnen Sie die Richtlinienseite und lesen Sie, was eingestellt ist.
Warum blockiert Cloudflare KI-Crawler weiterhin, obwohl ich sie erlaubt habe?
Die Aktion Allow in AI Crawl Control verhindert nur, dass AI Crawl Control selbst blockiert. Andere Funktionen greifen weiterhin in die Anfrage ein. Häufige Ursachen:
- Das Blockieren von Training blockiert auch Such-Crawler, die beides tun. Laut Cloudflares Dokumentation gelten Training-Aktionen für Crawler mit gemischtem Zweck, und die Ankündigung vom Juli 2026 nennt Googlebot, Applebot und bingbot als Crawler, die Kunden mit gesperrtem Training ab dem 15. September 2026 blockieren. Disallow ist die engere Wahl, weil dessen Sperre am Edge Crawler mit gemischtem Zweck auslässt.
- Bot Fight Mode ist aktiv. Laut Cloudflare lässt sich Bot Fight Mode weder mit WAF Custom Rules noch mit Page Rules umgehen oder überspringen. Wenn er einen Crawler herausfordert, schalten Sie ihn aus oder nutzen Sie, in einem Tarif, der ihn hat, Super Bot Fight Mode, der Skip-Regeln unterstützt.
- Eine ältere WAF Custom Rule blockiert User-Agents, die
botenthalten, oder eine Rate-Limiting-Regel beantwortet Lastspitzen mit 429. Diese greifen unabhängig von der Action in AI Crawl Control. - Die Sperrregel wurde von Hand bearbeitet. Wurde die WAF-Regel hinter AI Crawl Control auf einen anderen Antwortcode geändert, kann das Dashboard Ihre Auswahl nicht mehr durchsetzen.
- robots.txt verbietet den Crawler weiterhin. Cloudflares Allow ändert Ihre robots.txt nicht, ein höflicher Crawler bleibt also trotzdem fern. In unserer Studie der 1.000 beliebtesten Domains blockierten 98 der 155 Websites, die einen KI-Trainings-Crawler in robots.txt sperrten, auch mindestens einen KI-Such- oder Nutzer-Crawler.
Wie prüfe ich von außen, welche KI-Crawler Cloudflare hereinlässt?
Fragen Sie dieselbe Seite mit einem Browser-User-Agent und mit dem User-Agent jedes Crawlers an und vergleichen Sie Status und Größe. Die Strings von OpenAI, Perplexity und Google unten sind die, die diese Unternehmen veröffentlichen.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Eine Crawler-Zeile mit 403, 429 oder 503 oder einer viel kleineren Größe als die Browser-Zeile bedeutet, dass etwas vor Ihrem Origin-Server anders geantwortet hat. Im Free-Tarif erkennt AI Crawl Control Crawler am User-Agent, daher ist dieser Test eine brauchbare Prüfung seiner Sperren. Regeln, die auf dem Status als verifizierter Bot oder auf Bot-Scores beruhen, können Ihre Anfrage anders behandeln als den echten Crawler, weil sie von Ihrer IP-Adresse kommt und nicht aus den veröffentlichten Bereichen des Betreibers. Suchen Sie nach dem Test in Security Analytics nach Ihren eigenen Anfragen, um zu sehen, welche Regel gegriffen hat.
Wie prüft AISeeWhy, was Cloudflare an KI-Crawler ausliefert?
Die kostenlose AISeeWhy-Prüfung fragt Ihre Seite als 16 KI- und Such-Crawler neben einem echten Browser an, wendet Ihre robots.txt pro Crawler an und erkennt Challenge-Seiten von Firewalls; so sehen Sie, ob das Ergebnis im Cloudflare-Dashboard mit dem übereinstimmt, was Crawler tatsächlich erhalten.
Fixes für dieses Problem
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- IP-Prüfung für KI-Crawler
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Ist Cloudflare AI Crawl Control kostenlos?
Ja. Cloudflare führt AI Crawl Control als in allen Tarifen verfügbar. Der Free-Tarif erkennt Crawler nur am User-Agent und zeigt in Metrics die letzten 24 Stunden; Referral-Daten und eigene Sperrantworten erfordern einen bezahlten Tarif.
Was ist aus Cloudflare AI Audit geworden?
Es wurde umbenannt. Cloudflares Dokumentation beschreibt AI Crawl Control als ehemals AI Audit, mit demselben Zweck: sehen, welche KI-Crawler vorbeikommen, und für jeden eine Aktion festlegen.
Ändert das Blockieren eines Crawlers in AI Crawl Control meine robots.txt?
Nein. Eine Block-Aktion erstellt oder aktualisiert eine WAF Custom Rule. Die robots.txt ändert sich nur, wenn Sie für Training die Option Disallow mit Bot Preference Sync nutzen, die Cloudflares verwaltete Regeln Ihrer Datei voranstellt.
Was zählt in Cloudflare als robots.txt-Verstoß?
Eine Anfrage eines KI-Crawlers an einen Pfad, den Ihre robots.txt verbietet. Cloudflare vergleicht frühere Anfragen mit Ihren aktuellen Regeln; eine neue Regel kann also ältere Anfragen markieren, die damals erlaubt waren.
Was ist Pay per Crawl?
Eine Aktion Charge, die KI-Crawler auffordert, pro Anfrage zu bezahlen, und andernfalls mit HTTP 402 und einem Preis antwortet. Cloudflare beschreibt sie als geschlossene Beta, und Sperren durch WAF oder Bot Management haben Vorrang.
Quellen
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Bericht zum Zugriff von KI-Crawlern, 2026-11