So drosseln Sie KI-Crawler, ohne sie zu blockieren
Begrenzen Sie die Rate, statt zu blockieren. Beantworten Sie überzählige Crawler-Anfragen mit 429 oder 503 und einem Retry-After-Header, geben Sie jedem Crawler ein eigenes Budget, nehmen Sie /robots.txt von jedem Limit aus und liefern Sie Crawlern Seiten aus dem Cache. Crawl-delay in der robots.txt hilft nur, wo der Betreiber es dokumentiert: Anthropic und Bing tun das, Google sagt, dass es die Anweisung nicht unterstützt, und OpenAI und Perplexity erwähnen sie nicht. Lassen Sie die KI-Such-Crawler zugelassen, sonst verschwinden Sie auch aus den Antworten, die sie speisen.
Wenn ein Crawler Tausende Anfragen pro Stunde schickt, ist die schnelle Lösung Disallow: / oder eine Firewall-Sperre. Für einen Trainings-Crawler kann das eine faire Wahl sein. Bei OAI-SearchBot, Claude-SearchBot oder PerplexityBot entfernt es Ihre Seiten aus den KI-Antworten, in denen Sie erscheinen wollen. Meist lässt sich die Last senken, ohne darauf zu verzichten, mit Signalen, die Crawler bereits verstehen: Statuscodes, Caching und, bei manchen Betreibern, Crawl-delay.
Auf dieser Seite
- Welcher Crawler verursacht die Last wirklich?
- Funktioniert Crawl-delay bei KI-Crawlern?
- Wie bremsen 429- und 503-Antworten Crawler?
- Wie richte ich ein Rate Limit für KI-Crawler ein?
- Kann Caching die Crawler-Last senken?
- Was sollte ich beim Drosseln von Crawlern vermeiden?
- Wie prüfe ich, ob Crawler weiterhin durchkommen?
Welcher Crawler verursacht die Last wirklich?
Schauen Sie nach, bevor Sie etwas ändern. Zählen Sie in Ihren Zugriffs-Logs die Anfragen pro User-Agent und pro Stunde und prüfen Sie die Quell-IPs anhand der Bereiche, die jeder Anbieter veröffentlicht; unser Leitfaden zum Prüfen von Server-Logs auf KI-Crawler enthält die Befehle. Zwei Befunde sind häufig:
- Der starke Traffic gibt sich nur als KI-Crawler aus. Liegen die IPs nicht in der Liste des Anbieters, helfen Regeln für den echten Crawler nicht. Begrenzen oder sperren Sie diesen Traffic stattdessen nach seiner Herkunft.
- Ein echter Crawler steckt in einer Crawler-Falle, etwa endlosen Kalenderseiten, Filterkombinationen oder Session-IDs in URLs. Die Falle mit
Disallow-Regeln für diese Pfade zu schließen spart mehr als jedes Rate Limit.
Sortieren Sie Crawler außerdem nach Aufgabe. Trainings-Crawler wie GPTBot und ClaudeBot sind nicht diejenigen, die Sie in der KI-Suche zitierbar machen; ist einer davon das Problem, ist es eine vernünftige Option, ihn zu sperren. Der Rest dieses Leitfadens gilt für Crawler, die Sie behalten wollen.
Funktioniert Crawl-delay bei KI-Crawlern?
Crawl-delay ist nicht Teil von RFC 9309, jeder Betreiber entscheidet also selbst, ob er es liest. Das sagt die Dokumentation Stand November 2026:
- Anthropic: unterstützt. Laut seiner Hilfeseite unterstützt es die nicht standardisierte Erweiterung
Crawl-delay, um die Crawling-Aktivität zu begrenzen, mitCrawl-delay: 1in einerClaudeBot-Gruppe als Beispiel. - Microsoft Bing: unterstützt. Der Webmaster-Blog von Bing beschreibt den Wert als Zeitfenster von 1 bis 30 Sekunden, in dem
bingbothöchstens eine Seite crawlt, und sagt, dass eine Crawl-Verzögerung in der robots.txt die Crawl-Einstellungen in den Bing Webmaster Tools überschreibt. - Google: nicht unterstützt. Die robots.txt-Dokumentation von Google nennt
crawl-delayals Feld, das es nicht unterstützt. - OpenAI und Perplexity: Ihre Crawler-Seiten erwähnen es nicht, die Wirkung auf
GPTBot,OAI-SearchBotoderPerplexityBotist also nicht dokumentiert.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Achten Sie auf die Gruppenlogik. Ein Crawler, der eine Gruppe mit seinem eigenen Namen findet, ignoriert die Gruppe User-agent: * vollständig; eine ClaudeBot-Gruppe, die nur Crawl-delay enthält, würde also jedes Disallow verwerfen, das Sie für alle anderen gesetzt haben. Wiederholen Sie sie wie oben. Bing beschreibt Crawl-delay als Ausnahme, die es aus beiden Gruppen liest, aber davon sollten Sie bei anderen Crawlern nicht ausgehen.
Wie bremsen 429- und 503-Antworten Crawler?
Bei Lastspitzen ist der Statuscode das Signal, das Crawler respektieren sollen. 429 Too Many Requests, definiert in RFC 6585, bedeutet, dass der Client in einem bestimmten Zeitraum zu viele Anfragen gesendet hat, und kann einen Retry-After-Header tragen, der sagt, wie lange zu warten ist. 503 Service Unavailable sagt, dass der Server gerade überlastet ist.
Google dokumentiert dies als Weg, die Crawl-Rate des Googlebot schnell zu senken: Auf einen Teil der Crawl-Anfragen 500, 503 oder 429 statt 200 zurückgeben. Laut Google senkt das die Crawl-Rate für den gesamten Hostnamen, und Retry-After kann eine Anzahl von Sekunden oder ein Datum enthalten.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Halten Sie es kurz. Google rät davon ab, das länger als ein oder zwei Tage zu tun, weil eine URL, die diese Codes mehrere Tage lang liefert, aus dem Index entfernt werden kann. Für eine dauerhafte Senkung bietet Google stattdessen eine Sonderanfrage über die Search Console an.
OpenAI, Anthropic und Perplexity dokumentieren nicht, wie ihre Crawler auf 429, 503 oder Retry-After reagieren. Die Codes sind der Standardweg, um um weniger Anfragen zu bitten, aber wie schnell jeder KI-Crawler zurückfährt, lässt sich nicht nachlesen.
Wie richte ich ein Rate Limit für KI-Crawler ein?
Geben Sie jedem Crawler ein eigenes Budget statt einem Limit für den gesamten Traffic, und beantworten Sie Anfragen darüber mit 429. In nginx erledigt das das Modul limit_req. Anfragen mit leerem Schlüssel werden nicht gezählt, ein map, das nur für Crawler-User-Agents einen Schlüssel liefert, lässt menschliche Besucher also in Ruhe. Hier bekommt jeder Crawler 60 Anfragen pro Minute mit einem Burst von 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Der Schlüssel ist hier der User-Agent; wer den Namen eines Crawlers kopiert, teilt sich also dessen Budget. Für ein Rate Limit ist das hinnehmbar. Für eine Allow-Regel gleichen Sie zusätzlich die veröffentlichten IP-Bereiche des Anbieters ab.
Bei Cloudflare erledigen Rate-Limiting-Regeln dieselbe Aufgabe am Edge. Im Free-Plan erhalten Sie eine Regel, gezählt pro IP über 10 Sekunden, und der Regelausdruck kann den Pfad und das Feld Verified Bot nutzen. Pro IP zu zählen ist grob bei Crawlern, die Anfragen auf viele Adressen verteilen, und höhere Pläne bieten mehr Zähloptionen. Die Standardantwort ist 429, und Sie können einen anderen 4xx-Code und einen eigenen Body festlegen. AI Crawl Control bietet pro Crawler Allow, Block und, in einer privaten Beta, Charge, aber keine Einstellung für die Rate.
Was auch immer Sie verwenden: Nehmen Sie /robots.txt vom Limit aus. Laut RFC 9309 muss ein Crawler bei einem Serverfehler für die robots.txt die ganze Website als gesperrt behandeln, und Google zählt 429 nicht zu den 4xx-Codes, die es als fehlende Datei behandelt.
Kann Caching die Crawler-Last senken?
Oft mehr als ein Rate Limit. Crawler fragen meist öffentliche Seiten an, die für jeden Besucher gleich sind; sie aus einem CDN oder Seiten-Cache auszuliefern macht aus teurem Rendering günstige Cache-Treffer. Prüfen Sie, dass Ihr Cache keine eigene, ungecachte Variante für Crawler-User-Agents vorhält.
Bedingte Anfragen helfen ebenfalls. Laut Google unterstützen seine Crawler HTTP-Caching mit ETag und If-None-Match sowie mit Last-Modified und If-Modified-Since und verwenden ETag, wenn beides vorhanden ist. Die Crawler-Seiten von OpenAI, Anthropic und Perplexity sagen nicht, ob ihre Crawler bedingte Anfragen senden; rechnen Sie mit dieser Ersparnis also nur bei Google.
Was sollte ich beim Drosseln von Crawlern vermeiden?
- Die IP-Bereiche eines Anbieters in der Firewall sperren. Anthropic warnt, dass das möglicherweise nicht richtig funktioniert oder einen Opt-out nicht aufrechterhält, weil es seine Bots daran hindert, Ihre robots.txt zu lesen.
- Tagelang
5xxoder429ausliefern. Laut Google können URLs, die diese Codes dauerhaft liefern, aus dem Index entfernt werden. - Bot-Schutz als Drossel verwenden. Der Bot Fight Mode von Cloudflare stellt Bots rechenintensive Challenges und lässt sich nicht mit WAF Custom Rules überspringen; Sie können die Crawler, die Sie behalten wollen, also nicht ausnehmen.
- Einen Such-Crawler sperren, um Bandbreite zu sparen. Ein
DisallowfürOAI-SearchBot,Claude-SearchBotoderPerplexityBotnimmt Sie aus den Antworten, die diese Crawler speisen.
Wie prüfe ich, ob Crawler weiterhin durchkommen?
Rate Limits sind schnell zu streng eingestellt. Die kostenlose AISeeWhy-Prüfung ruft eine Seite als 16 KI- und Such-Crawler neben einem echten Browser ab, wendet Ihre robots.txt pro Crawler an und erkennt Challenge-Seiten von Firewalls; eine Regel, die Crawlern anders antwortet als Browsern, fällt also auf. Eine Anfrage pro Crawler löst kein vernünftiges Limit aus, und genau darum geht es: Führen Sie die Prüfung nach einer Regeländerung aus, um zu bestätigen, dass normale Anfragen weiterhin durchgehen. Die kostenlose IP-Prüfung für KI-Crawler zeigt Ihnen, ob eine IP aus Ihren Logs wirklich zu GPTBot oder einem anderen Crawler gehört.
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- IP-Prüfung für KI-Crawler
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Unterstützt Google Crawl-delay?
Nein. Die robots.txt-Dokumentation von Google führt crawl-delay unter den Feldern auf, die es nicht unterstützt. Um den Googlebot kurzzeitig zu bremsen, geben Sie auf einen Teil der Anfragen 503, 500 oder 429 zurück; für eine längere Senkung bietet Google eine Sonderanfrage über die Search Console an.
Beachtet ClaudeBot Crawl-delay?
Laut Anthropic unterstützt es die nicht standardisierte Erweiterung Crawl-delay. Setzen Sie sie in eine ClaudeBot-Gruppe und wiederholen Sie dort alle Disallow-Regeln aus Ihrer Gruppe User-agent: *.
Unterstützen GPTBot und PerplexityBot Crawl-delay?
Die Crawler-Seiten von OpenAI und Perplexity erwähnen Crawl-delay nicht, die Wirkung ist also nicht dokumentiert. Nutzen Sie ein serverseitiges Limit, das überzählige Anfragen mit 429 beantwortet.
Schadet eine 429-Antwort meinem Ranking?
Nicht für kurze Zeit. Google dokumentiert 429 und 503 als Weg, das Crawling vorübergehend zu reduzieren, warnt aber, dass URLs, die sie mehrere Tage lang liefern, aus dem Index entfernt werden können.
Sollte ich GPTBot sperren, um die Last zu senken?
Das können Sie. Laut OpenAI crawlt GPTBot Inhalte, die für das Training verwendet werden können, und jede robots.txt-Einstellung ist unabhängig; eine Sperre nimmt Sie also nicht aus der ChatGPT-Suche, die OAI-SearchBot nutzt. Prüfen Sie zuerst Ihre Logs, um sicherzugehen, dass die Last von den Adressen von OpenAI kommt.
Quellen
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers