Warum blockiert meine Website plötzlich KI-Crawler?
Eine Website, die plötzlich KI-Crawler blockiert, hat sich fast immer an einer von fünf Stellen geändert: in der tatsächlich ausgelieferten robots.txt, in einer CDN-Einstellung wie den KI-Crawler-Richtlinien von Cloudflare, beim Bot-Schutz oder einem Rate Limit, in einer Voreinstellung des Hosters oder in einer robots.txt, die jetzt mit einem Fehler antwortet. Rufen Sie die heutige robots.txt und eine Seite als jeder Crawler ab, vergleichen Sie beides mit einem Browser und mit dem früheren Stand, und prüfen Sie diese Ebenen in dieser Reihenfolge.
Niemand beschließt, aus KI-Antworten zu verschwinden. Es passiert als Nebenwirkung eines Theme-Updates, einer Sicherheitseinstellung, einer Migration oder einer geänderten Voreinstellung bei einem Anbieter. Ein Browser sieht die Website weiterhin normal, sodass die Änderung unbemerkt bleiben kann, bis jemand ChatGPT oder Perplexity nach dem Produkt fragt und einen Wettbewerber genannt bekommt. Jede Ebene hinterlässt Spuren, die Sie von außen oder in Ihren Logs prüfen können.
Auf dieser Seite
- Hat sich die robots.txt geändert, die Crawler erhalten?
- Haben die KI-Crawler-Richtlinien von Cloudflare 2026 geändert, was meine Website erlaubt?
- Fängt der Bot-Schutz oder ein Rate Limit die Crawler ab?
- Hat mein Hoster seine Voreinstellungen geändert?
- Antwortet die robots.txt mit einem Fehler?
- Wie finde ich heraus, wann es angefangen hat?
- Wie bemerke ich es nächstes Mal früher?
Hat sich die robots.txt geändert, die Crawler erhalten?
Rufen Sie https://yourdomain.com/robots.txt ab und vergleichen Sie sie mit der Datei in Ihrem Repository oder Backup. Sehen Sie sich die ausgelieferte Datei an, nicht die auf der Festplatte, denn mehrere Ebenen können sie unterwegs ändern:
- Ein Deployment liefert eine Staging-robots.txt mit
Disallow: /aus, oder nach einer Migration bleibt eine Voreinstellung der Plattform stehen. - Eine Einstellung im Website-Baukasten fügt Regeln für KI-Crawler hinzu. Squarespace etwa hat die Option „Block known artificial intelligence crawlers“, die 26 Bot-Namen in die robots.txt schreibt, und sagt, dass mit der Zeit weitere hinzukommen können. Sie ist standardmäßig aus, jemand muss sie also einschalten, aber die Liste kann danach wachsen.
- Das Update eines SEO- oder Sicherheits-Plugins schreibt neue Regeln oder bringt eine neue Option, die jemand einschaltet.
- Cloudflare stellt Ihrer Datei seine verwaltete robots.txt voran, wenn Bot Preference Sync aktiv ist und eine KI-Richtlinie auf Block oder Disallow steht. Die ausgelieferte Datei beginnt dann mit
Disallow: /fürClaudeBot,GPTBotund sechs weitere Trainings-Tokens, obwohl sich Ihre eigene Datei nicht geändert hat. - Eine Regel für einen Trainings-Crawler wurde auf andere übertragen, darunter Such-Crawler wie
OAI-SearchBot,Claude-SearchBotoderPerplexityBot.
Der robots.txt-Bericht in der Google Search Console zeigt die Versionen, die Google in den letzten 30 Tagen abgerufen hat, mit einem neuen Eintrag jedes Mal, wenn sich die Datei oder das Abrufergebnis geändert hat. Er deckt nur ab, was Google gesehen hat; solange Ihr Server die robots.txt nicht je nach User-Agent variiert, haben KI-Crawler aber dieselbe Datei erhalten.
Haben die KI-Crawler-Richtlinien von Cloudflare 2026 geändert, was meine Website erlaubt?
Cloudflare hat seine Steuerung für KI-Crawler mehrmals geändert, und einige Änderungen verändern das Verhalten einer Zone, ohne dass jemand sie bearbeitet. Am 1. Juli 2025 begann es, neue Domains bei der Anmeldung zu fragen, ob KI-Crawler erlaubt sein sollen, mit Blockieren als Ausgangszustand. Am 1. Juli 2026 ersetzte es den einen Schalter „Block AI bots“ durch getrennte Richtlinien für Search, Agent und Training, für alle Pläne einschließlich Free.
Das Detail, über das die meisten Websites stolpern, sind Crawler mit gemischtem Zweck. Laut der Dokumentation von Cloudflare gelten Training-Aktionen auch für Crawler, die sowohl für Suche als auch für Training genutzt werden. Die Ankündigung vom Juli 2026 sagte, dass ab dem 15. September 2026 Mehrzweck-Crawler wie Googlebot, Applebot und BingBot bei Kunden blockiert würden, die Training blockieren, ob über die neuen Optionen oder die alte Einstellung „Block AI bots“. Ein Training-Opt-out von vor einem Jahr kann deshalb jetzt Such-Crawler treffen.
Die Voreinstellungen für neue Domains wurden im Lauf der Zeit unterschiedlich beschrieben. Dieselbe Ankündigung sagte, dass bei neuen Domains ab dem 15. September 2026 Training und Agent auf Seiten mit Werbung blockiert würden, während die am 2. November 2026 aktualisierte Dokumentation der Richtlinien sagt, dass neue Domains mit allen drei auf Allow starten. Öffnen Sie Security, dann Settings, filtern Sie nach Bot traffic und lesen Sie die AI Crawler and Agent access policies Ihrer eigenen Zone. Unser Leitfaden zu Cloudflare AI Crawl Control erklärt jede Einstellung.
Fängt der Bot-Schutz oder ein Rate Limit die Crawler ab?
Bot-Schutz bewertet jede Anfrage, und Crawler rufen viele Seiten schnell aus Rechenzentren ab, also genau das, was Bots tun. Ein Crawler, der letzten Monat durchkam, kann Challenge-Seiten erhalten, nachdem sein Betreiber IP-Bereiche oder Crawl-Rate geändert hat oder die Schutzregeln aktualisiert wurden. Der Bot Fight Mode von Cloudflare ist eine häufige Ursache, und laut Cloudflare lässt er sich weder mit WAF Custom Rules noch mit Page Rules umgehen oder überspringen; eine später hinzugefügte Allow-Regel hilft also nicht, solange er aktiv ist. Ein neues Rate Limit, das Lastspitzen mit 429 beantwortet, wirkt auf einen fleißigen Crawler genauso.
Testen Sie von außen: Rufen Sie eine Seite als Browser und als zwei KI-Such-Crawler ab, dann die robots.txt als Crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Ein 403, 429 oder 503 nur für einen Crawler, eine Seite mit dem Titel Just a moment... oder ein Body, der deutlich kleiner ist als beim Browser, bedeutet, dass der Crawler anders behandelt wird. Der Test kommt von Ihrer IP, nicht von der des Anbieters, Regeln auf Basis des Status als verifizierter Bot können den echten Crawler also trotzdem anders behandeln. Das Ereignisprotokoll der Firewall zeigt, welche Regel geantwortet hat.
Hat mein Hoster seine Voreinstellungen geändert?
Manche Hoster filtern KI-Traffic auf dem Server, bevor Ihre eigenen Regeln greifen. SiteGround etwa schrieb im August 2025, dass es KI-Crawler, die Trainingsdaten sammeln, standardmäßig blockiert und Crawler zulässt, die kommen, wenn jemand einen KI-Assistenten nach einer Seite fragt. Solche Regeln tauchen nicht in Ihrer robots.txt auf und können sich ändern, wenn der Hoster seine Bot-Listen aktualisiert.
Wenn eine Sperre gleichzeitig auf mehreren Websites beim selben Hoster auftritt oder in Antworten, die nie in Ihren Anwendungs-Logs ankommen, fragen Sie den Hoster, welche Bot-Regeln für Ihr Konto gelten und ob Sie die Crawler ausnehmen können, die Sie behalten wollen.
Antwortet die robots.txt mit einem Fehler?
Eine robots.txt, die fehlschlägt, kann mehr blockieren als jede Disallow-Zeile. Nach RFC 9309 bedeutet eine 4xx-Antwort, dass ein Crawler alles abrufen darf, ein Serverfehler (5xx) oder gar keine Antwort dagegen, dass er die ganze Website als gesperrt behandeln muss. Google stellt das Crawlen in den ersten 12 Stunden solcher Fehler ein und nutzt dann bis zu 30 Tage lang seine letzte gültige Kopie.
So kann eine Lastspitze, eine Firewall-Regel, die /robots.txt mit einer Challenge beantwortet, oder ein Rate Limit, das sie einschließt, regelkonforme Crawler aussperren, ohne dass sich eine einzige Regel ändert. Der letzte Befehl im Test oben sollte 200 und text/plain liefern. Ein 5xx, ein Timeout oder eine Challenge-Seite an dieser Stelle ist das Erste, was Sie beheben sollten.
Wie finde ich heraus, wann es angefangen hat?
Ein Datum macht aus einem Rätsel einen Vergleich. Filtern Sie in Ihren Zugriffs-Logs Anfragen von KI-Crawler-User-Agents und suchen Sie den Tag, an dem ihre Statuscodes von 200 auf 403, 429 oder 503 wechselten, oder den Tag, an dem sie nach dem Lesen der robots.txt keine Seiten mehr abriefen; unser Leitfaden zum Prüfen von Server-Logs auf KI-Crawler enthält die Befehle. Anfragen, die Ihr CDN blockiert hat, erreichen den Ursprungsserver nie, prüfen Sie also auch das CDN. Bei Cloudflare zeigt AI Crawl Control eine Verteilung der Statuscodes über die Zeit, die Sie nach Crawler filtern können.
Legen Sie dieses Datum dann neben Deployments, Plugin- und Theme-Updates, Änderungen an CDN-Einstellungen und Ankündigungen von Anbietern. Bevor Sie handeln, prüfen Sie, ob die Quell-IPs zum Anbieter gehören, damit Sie den echten Crawler betrachten und keinen Nachahmer, der seinen Namen benutzt.
Wie bemerke ich es nächstes Mal früher?
Prüfen Sie den Zugriff nach jedem Deployment, jeder CDN-Änderung und jedem Plugin-Update, nicht erst, wenn der Traffic sinkt. Die kostenlose AISeeWhy-Prüfung ruft eine Seite als 16 KI- und Such-Crawler neben einem echten Browser ab, wendet Ihre robots.txt pro Crawler an und erkennt Challenge-Seiten von Firewalls. Der kostenlose robots.txt-Checker zeigt pro Crawler, ob eine Seite nach der heute live geschalteten Datei abgerufen werden darf.
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- IP-Prüfung für KI-Crawler
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Warum zeigt ChatGPT meine Website nicht mehr an?
Oft, weil OAI-SearchBot, der Crawler hinter der ChatGPT-Suche, durch eine Änderung der robots.txt, eine CDN-Richtlinie oder Bot-Schutz blockiert wurde. Laut OpenAI erscheinen Websites, die ihn blockieren, nicht in Antworten der ChatGPT-Suche. Prüfen Sie jede Ebene für diesen Crawler und warten Sie nach einer Korrektur der robots.txt etwa 24 Stunden; so lange brauchen die Systeme von OpenAI laut OpenAI für die Anpassung.
Blockiert Cloudflare auf meiner Website jetzt Googlebot?
Das kann passieren. Laut Cloudflare blockieren Kunden, die Training blockieren, ab dem 15. September 2026 auch Mehrzweck-Crawler wie Googlebot, Applebot und BingBot. Laut seiner Dokumentation blockiert die Option „Training Disallow“ Trainings-Crawler am Edge, lässt Crawler mit gemischtem Zweck aber aus; prüfen Sie also, welche Option Ihre Zone nutzt.
Kann ein Website-Baukasten oder ein Plugin meine robots.txt ändern?
Ja. Website-Baukästen und SEO- oder Sicherheits-Plugins können Regeln für KI-Crawler in die robots.txt schreiben, und manche erweitern ihre Bot-Listen mit der Zeit. Rufen Sie nach jedem Update die live geschaltete Datei ab und lesen Sie die Gruppen, die für die Such-Crawler gelten, auf die es Ihnen ankommt.
Warum unterscheidet sich meine live geschaltete robots.txt von der Datei auf meinem Server?
Etwas vor Ihrem Server ändert sie. Die verwaltete robots.txt von Cloudflare zum Beispiel stellt Ihrer Datei in derselben Antwort eigene Regeln und Content Signals voran. Ein CMS, das die robots.txt bei jeder Anfrage erzeugt, oder eine Einstellung beim Hoster kann sie ebenfalls ersetzen oder erweitern.
Wie lange dauert es, bis KI-Crawler nach der Korrektur zurückkommen?
Laut RFC 9309 sollen Crawler eine zwischengespeicherte robots.txt nicht länger als 24 Stunden verwenden; OpenAI nennt etwa 24 Stunden, Perplexity bis zu 24 Stunden. Firewall-Änderungen gelten, sobald Ihr Anbieter sie ausrollt, aber Crawler kommen nach ihrem eigenen Zeitplan zurück.
Quellen
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers