So lesen Sie den Bericht von Cloudflare AI Crawl Control und sehen, welche KI-Crawler hineinkommen

Veröffentlicht

Kurz gesagt

Öffnen Sie AI Crawl Control in Ihrem Cloudflare-Dashboard: Die Crawler-Liste zeigt jeden KI-Crawler, den Cloudflare auf Ihrer Domain gesehen hat, seine Anfragen, seine robots.txt-Verstöße und ob seine Aktion Allow oder Block ist. Um in der KI-Suche zu bleiben und trotzdem Training abzulehnen, erlauben Sie dort oder unter den AI Crawler and Agent access policies die Such- und Agent-Crawler und blockieren oder verbieten (Disallow) die Trainings-Crawler. Bestätigen Sie das Ergebnis dann von außen mit curl, denn andere Cloudflare-Funktionen können einen erlaubten Crawler trotzdem blockieren.

Bei Cloudflare entscheiden jetzt zwei Stellen, was KI-Crawler erhalten: AI Crawl Control, der Bericht und die Schaltzentrale pro Crawler, die früher AI Audit hieß, und die zonenweiten AI Crawler and Agent access policies in den Security-Einstellungen. Beide gibt es im Free-Tarif, beide haben sich 2026 geändert, und keine von beiden informiert Sie über all die anderen Funktionen, die einem Crawler trotzdem mit einem 403 antworten können. Dieser Leitfaden geht den Bericht Spalte für Spalte durch, zeigt, wo Sie Allow und Block setzen, und endet mit einem Test, den Sie auf Ihrem eigenen Rechner ausführen können.

Auf dieser Seite
  1. Wo finde ich den KI-Crawler-Bericht in Cloudflare?
  2. Was bedeuten die Spalten und Kennzahlen im Bericht von AI Crawl Control?
  3. Wie erlaube ich in Cloudflare KI-Such-Crawler und blockiere Trainings-Crawler?
  4. Was hat sich an Cloudflares Standardeinstellungen für KI-Crawler geändert?
  5. Warum blockiert Cloudflare KI-Crawler weiterhin, obwohl ich sie erlaubt habe?
  6. Wie prüfe ich von außen, welche KI-Crawler Cloudflare hereinlässt?
  7. Wie prüft AISeeWhy, was Cloudflare an KI-Crawler ausliefert?

Wo finde ich den KI-Crawler-Bericht in Cloudflare?

Wählen Sie im Dashboard Ihr Konto und Ihre Domain und öffnen Sie dann AI Crawl Control. Laut Cloudflare funktioniert es ohne Konfiguration und ist in allen Tarifen verfügbar, sofern der Traffic Ihrer Domain über den Cloudflare-Proxy läuft. Es hat vier Bereiche:

Zwei Tarifgrenzen zählen beim Lesen der Zahlen. Im Free-Tarif erkennt AI Crawl Control Crawler nur am User-Agent-String; es sieht also Crawler, die sich zu erkennen geben, und sonst nichts, und der Tab Metrics umfasst die letzten 24 Stunden. Bezahlte Tarife ergänzen die Erkennung über die Detection-ID von Bot Management, und Enterprise mit Bot Management erhält frei wählbare Zeiträume.

Was bedeuten die Spalten und Kennzahlen im Bericht von AI Crawl Control?

Cloudflare dokumentiert die Felder wie folgt. Die Definitionen sind wichtig, weil mehrere Zahlen mehr erfassen, als Sie vielleicht erwarten.

Lesen Sie den Bericht ausgehend von der gewählten Aktion. Ein Crawler auf Allow sollte überwiegend erlaubte Anfragen und 2xx-Codes zeigen. Zeigt er viele erfolglose Anfragen, öffnen Sie die Verteilung der Statuscodes gefiltert auf diesen Crawler und suchen Sie in Security Analytics die Regel, die geantwortet hat.

Wie erlaube ich in Cloudflare KI-Such-Crawler und blockiere Trainings-Crawler?

Das geht pro Crawler oder nach Verhalten. Pro Crawler öffnen Sie AI Crawl Control und setzen die Action für jede Zeile. Laut Cloudflare erstellt oder aktualisiert eine Sperre dort eine WAF Custom Rule in Ihrer Zone, die Sie in der WAF um Pfad-Ausnahmen erweitern können. In bezahlten Tarifen können Sie wählen, ob gesperrte Crawler einen 403 oder einen 402 erhalten, und einen Antworttext als Klartext festlegen.

Nach Verhalten gehen Sie zu Security, dann Settings, filtern nach Bot traffic und öffnen AI Crawler and Agent access policies. Cloudflare teilt KI-Traffic in drei Verhaltensweisen ein, und jede Richtlinie gilt für verifizierte Bots mit diesem Verhalten und für passende nicht verifizierte Bots:

Jedes Verhalten lässt sich auf Block, Block on pages with ads oder Allow (do not block) setzen. Training hat zusätzlich Disallow, das Crawler nur per robots.txt bittet. Mit eingeschaltetem Bot Preference Sync stellt Cloudflare Ihrer robots.txt verwaltete Regeln voran, die Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot und meta-externalagent verbieten, fügt eine Content-Signals-Zeile hinzu und blockiert KI-Trainings-Crawler außerdem am Edge, mit Ausnahme von Crawlern, die sowohl für Suche als auch für Training genutzt werden.

Für die meisten Websites, die in KI-Antworten zitiert werden wollen, ist die sichere Kombination Search und Agent auf Allow und Training auf Disallow, dazu einzelne Block-Aktionen in AI Crawl Control für reine Trainings-Crawler, die Sie am Edge stoppen wollen.

Was hat sich an Cloudflares Standardeinstellungen für KI-Crawler geändert?

Am 1. Juli 2025 kündigte Cloudflare an, KI-Crawler standardmäßig zu blockieren, sofern sie die Urheber nicht bezahlen. Am 1. Juli 2026 ersetzte es den einzelnen Schalter Block AI bots durch die oben beschriebenen getrennten Richtlinien Search, Agent und Training, für alle Tarife einschließlich Free. Dieselbe Ankündigung besagte, dass bei neuen Domains, die ab dem 15. September 2026 eingerichtet werden, Training und Agent auf Seiten mit Werbung blockiert und Search erlaubt sein würden.

Die aktuelle Richtliniendokumentation von Cloudflare, zuletzt aktualisiert am 2. November 2026, sagt, dass neue Domains für alle drei Verhaltensweisen standardmäßig auf Allow (do not block) stehen. Da Cloudflares eigene Seiten zu verschiedenen Zeiten unterschiedliche Standards beschrieben haben, verlassen Sie sich für Ihre Zone auf keine davon: Öffnen Sie die Richtlinienseite und lesen Sie, was eingestellt ist.

Warum blockiert Cloudflare KI-Crawler weiterhin, obwohl ich sie erlaubt habe?

Die Aktion Allow in AI Crawl Control verhindert nur, dass AI Crawl Control selbst blockiert. Andere Funktionen greifen weiterhin in die Anfrage ein. Häufige Ursachen:

Wie prüfe ich von außen, welche KI-Crawler Cloudflare hereinlässt?

Fragen Sie dieselbe Seite mit einem Browser-User-Agent und mit dem User-Agent jedes Crawlers an und vergleichen Sie Status und Größe. Die Strings von OpenAI, Perplexity und Google unten sind die, die diese Unternehmen veröffentlichen.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Eine Crawler-Zeile mit 403, 429 oder 503 oder einer viel kleineren Größe als die Browser-Zeile bedeutet, dass etwas vor Ihrem Origin-Server anders geantwortet hat. Im Free-Tarif erkennt AI Crawl Control Crawler am User-Agent, daher ist dieser Test eine brauchbare Prüfung seiner Sperren. Regeln, die auf dem Status als verifizierter Bot oder auf Bot-Scores beruhen, können Ihre Anfrage anders behandeln als den echten Crawler, weil sie von Ihrer IP-Adresse kommt und nicht aus den veröffentlichten Bereichen des Betreibers. Suchen Sie nach dem Test in Security Analytics nach Ihren eigenen Anfragen, um zu sehen, welche Regel gegriffen hat.

Wie prüft AISeeWhy, was Cloudflare an KI-Crawler ausliefert?

Die kostenlose AISeeWhy-Prüfung fragt Ihre Seite als 16 KI- und Such-Crawler neben einem echten Browser an, wendet Ihre robots.txt pro Crawler an und erkennt Challenge-Seiten von Firewalls; so sehen Sie, ob das Ergebnis im Cloudflare-Dashboard mit dem übereinstimmt, was Crawler tatsächlich erhalten.

Fixes für dieses Problem

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Ist Cloudflare AI Crawl Control kostenlos?

Ja. Cloudflare führt AI Crawl Control als in allen Tarifen verfügbar. Der Free-Tarif erkennt Crawler nur am User-Agent und zeigt in Metrics die letzten 24 Stunden; Referral-Daten und eigene Sperrantworten erfordern einen bezahlten Tarif.

Was ist aus Cloudflare AI Audit geworden?

Es wurde umbenannt. Cloudflares Dokumentation beschreibt AI Crawl Control als ehemals AI Audit, mit demselben Zweck: sehen, welche KI-Crawler vorbeikommen, und für jeden eine Aktion festlegen.

Ändert das Blockieren eines Crawlers in AI Crawl Control meine robots.txt?

Nein. Eine Block-Aktion erstellt oder aktualisiert eine WAF Custom Rule. Die robots.txt ändert sich nur, wenn Sie für Training die Option Disallow mit Bot Preference Sync nutzen, die Cloudflares verwaltete Regeln Ihrer Datei voranstellt.

Was zählt in Cloudflare als robots.txt-Verstoß?

Eine Anfrage eines KI-Crawlers an einen Pfad, den Ihre robots.txt verbietet. Cloudflare vergleicht frühere Anfragen mit Ihren aktuellen Regeln; eine neue Regel kann also ältere Anfragen markieren, die damals erlaubt waren.

Was ist Pay per Crawl?

Eine Aktion Charge, die KI-Crawler auffordert, pro Anfrage zu bezahlen, und andernfalls mit HTTP 402 und einem Preis antwortet. Cloudflare beschreibt sie als geschlossene Beta, und Sperren durch WAF oder Bot Management haben Vorrang.

Quellen

Weitere Artikel