AISeeWhy
DE
Kostenlos testen

Blockiert Cloudflare KI-Crawler? So finden Sie es heraus und beheben es

Veröffentlicht

Kurz gesagt

Cloudflare und andere Firewalls können KI-Crawlern mit einem 403, einem 429 oder der Challenge-Seite „Just a moment...“ antworten, während Browser die echte Seite erhalten, selbst wenn die robots.txt den Crawler erlaubt. Prüfen Sie das, indem Sie die Seite mit dem User-Agent des Crawlers abrufen, und erlauben Sie KI-Suchcrawler dann in AI Crawl Control oder mit einer WAF-Skip-Regel.

Bot-Schutz soll Scraper und Missbrauch abwehren, und das gelingt ihm gut. Das Problem: KI-Suchcrawler sind auch Bots. Eine vor Jahren aktivierte Sicherheitseinstellung, ein Rate-Limit oder eine breite Regel gegen unbekannte User-Agents kann die Crawler, die Sie zitieren, unbemerkt aussperren, während Ihre eigenen Besuche völlig normal aussehen.

Auf dieser Seite
  1. Warum sollte eine Firewall KI-Crawler blockieren?
  2. Wie unterscheide ich eine Firewall-Sperre von einer robots.txt-Sperre?
  3. Wie erlaube ich KI-Suchcrawler in Cloudflare?
  4. Und was ist mit dem Bot Fight Mode?
  5. Welche Crawler sollte ich durchlassen?
  6. Wie erkennt AISeeWhy Firewall-Sperren?

Warum sollte eine Firewall KI-Crawler blockieren?

Firewalls beurteilen jede Anfrage einzeln. Ein Crawler führt keine JavaScript-Challenges aus, behält keine Cookies wie ein Browser und ruft oft viele Seiten hintereinander ab; er kann also genau wie der Datenverkehr aussehen, den der Bot-Schutz abwehren soll. Häufige Ursachen sind:

Wie unterscheide ich eine Firewall-Sperre von einer robots.txt-Sperre?

Eine robots.txt-Sperre ist eine höfliche Bitte: Der Crawler liest Ihre Regeln und ruft die Seite nicht ab. Eine Firewall-Sperre ist eine Antwort: Der Crawler fragt die Seite an und erhält etwas anderes. Die zweite Art lässt sich direkt erkennen. Rufen Sie die Seite zweimal ab, einmal mit dem User-Agent eines Browsers und einmal mit dem des Crawlers, und vergleichen Sie.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Anzeichen einer Firewall-Sperre: Status 403, 429 oder 503 nur für den Crawler; eine Seite mit dem Titel Just a moment... oder Attention Required! | Cloudflare; ein Inhalt, der /cdn-cgi/challenge-platform enthält; oder eine 200-Antwort, die deutlich kürzer ist als die für den Browser. Bedenken Sie, dass Ihr Test von Ihrer eigenen IP kommt und nicht aus dem verifizierten IP-Bereich des Crawlers; er zeigt daher, wie die Firewall den User-Agent behandelt, nicht jedes Detail im Umgang mit dem echten Crawler.

Wie erlaube ich KI-Suchcrawler in Cloudflare?

AI Crawl Control von Cloudflare, in allen Tarifen verfügbar, listet die KI-Crawler auf, die Ihre Domain besuchen, und lässt Sie für jeden eine Aktion festlegen. Öffnen Sie im Dashboard AI Crawl Control, gehen Sie zur Liste Crawlers und wählen Sie in der Spalte Action für jeden Crawler Allow oder Block. Laut Cloudflare erstellt oder aktualisiert eine Sperre dort eine benutzerdefinierte WAF-Regel in Ihrer Zone.

Wenn eine benutzerdefinierte WAF-Regel, der Super Bot Fight Mode oder Rate-Limiting den Crawler blockiert, fügen Sie eine benutzerdefinierte Regel hinzu, die diese Funktionen für verifizierte Bots und für den Token des Crawlers überspringt:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Setzen Sie die Regel an die erste Stelle. Beachten Sie, dass der Abgleich per User-Agent auch jeden durchlässt, der diesen User-Agent fälscht. Nutzen Sie nach Möglichkeit lieber das Feld für verifizierte Bots (cf.client.bot) oder die vom Anbieter veröffentlichten IP-Bereiche.

Und was ist mit dem Bot Fight Mode?

Die Dokumentation von Cloudflare stellt klar, dass sich der Bot Fight Mode weder mit benutzerdefinierten WAF-Regeln noch mit Page Rules umgehen oder überspringen lässt. Wenn er die Crawler per Challenge prüft, hilft eine Skip-Regel nicht. Sie können den Bot Fight Mode ausschalten oder in einem Tarif, der ihn bietet, den Super Bot Fight Mode verwenden, der auf der Ruleset Engine läuft und Skip-Regeln unterstützt.

Welche Crawler sollte ich durchlassen?

Unterscheiden Sie Crawler nach ihrer Aufgabe. Such- und User-Fetch-Crawler entscheiden, ob KI-Antworten Sie finden und zitieren können. Training-Crawler sammeln Daten für Modelle; sie zu sperren ist eine legitime Entscheidung, die Sie nicht aus der KI-Suche entfernt.

Die eigenen Richtlinieneinstellungen von Cloudflare verwenden dieselbe Aufteilung in Search, Agent und Training; Sie können also die ersten beiden erlauben und über die dritte getrennt entscheiden. Bei einer anderen Firewall oder einem anderen CDN gilt dasselbe Prinzip: Setzen Sie den Token des Crawlers auf die Allowlist, verifiziert über die vom Anbieter veröffentlichten IP-Bereiche oder, wo angeboten, per Reverse-DNS, damit er dieselbe Antwort erhält wie ein Browser.

Wie erkennt AISeeWhy Firewall-Sperren?

AISeeWhy ruft Ihre Seite als 14 Crawler und als normaler Browser ab, vergleicht Status, Größe und Weiterleitungen, erkennt Challenge-Seiten und nennt die Firewall oder das CDN, das geantwortet hat. Erlaubt die robots.txt einen Crawler, der Server blockiert ihn aber, zeigt der Bericht den Widerspruch und liefert die Cloudflare-Regel oder den Allowlist-Schritt zur Behebung.

Häufige Fragen

Blockiert Cloudflare KI-Crawler standardmäßig?

Das hängt von Ihrem Konto, Ihrem Tarif und den Einstellungen in Ihrer Zone ab, und Cloudflare hat diese Optionen im Lauf der Zeit geändert. Prüfen Sie AI Crawl Control und Ihre Bot-Einstellungen und testen Sie mit dem User-Agent des Crawlers, statt etwas anzunehmen.

Warum funktioniert meine Website im Browser, aber nicht für Crawler?

Firewalls beurteilen jede Anfrage einzeln. Ein Browser besteht JavaScript-Challenges und behält Cookies; ein Crawler nicht, daher kann er eine Challenge-Seite oder einen 403 erhalten, den Sie nie zu sehen bekommen.

Ist es sicher, KI-Crawler in der WAF zuzulassen?

Einen benannten Crawler zuzulassen ist risikoarm, wenn Sie ihn über die IP-Bereiche des Anbieters oder das Verified-Bot-Signal von Cloudflare verifizieren. Regeln, die allein dem User-Agent vertrauen, lassen auch jeden durch, der ihn kopiert.

Beeinträchtigt die E-Mail-Verschleierung von Cloudflare KI-Crawler?

Sie ersetzt E-Mail-Adressen durch einen Link, den erst ein Skript entschlüsselt, sodass Crawler statt der Adresse einen Platzhalter sehen. Soll Ihre Kontakt-E-Mail lesbar sein, schalten Sie Email Address Obfuscation unter Scrape Shield aus und zeigen Sie die Adresse als einfachen Text an.

Quellen

Weitere Artikel