So drosseln Sie KI-Crawler, ohne sie zu blockieren

Veröffentlicht

Kurz gesagt

Begrenzen Sie die Rate, statt zu blockieren. Beantworten Sie überzählige Crawler-Anfragen mit 429 oder 503 und einem Retry-After-Header, geben Sie jedem Crawler ein eigenes Budget, nehmen Sie /robots.txt von jedem Limit aus und liefern Sie Crawlern Seiten aus dem Cache. Crawl-delay in der robots.txt hilft nur, wo der Betreiber es dokumentiert: Anthropic und Bing tun das, Google sagt, dass es die Anweisung nicht unterstützt, und OpenAI und Perplexity erwähnen sie nicht. Lassen Sie die KI-Such-Crawler zugelassen, sonst verschwinden Sie auch aus den Antworten, die sie speisen.

Wenn ein Crawler Tausende Anfragen pro Stunde schickt, ist die schnelle Lösung Disallow: / oder eine Firewall-Sperre. Für einen Trainings-Crawler kann das eine faire Wahl sein. Bei OAI-SearchBot, Claude-SearchBot oder PerplexityBot entfernt es Ihre Seiten aus den KI-Antworten, in denen Sie erscheinen wollen. Meist lässt sich die Last senken, ohne darauf zu verzichten, mit Signalen, die Crawler bereits verstehen: Statuscodes, Caching und, bei manchen Betreibern, Crawl-delay.

Auf dieser Seite
  1. Welcher Crawler verursacht die Last wirklich?
  2. Funktioniert Crawl-delay bei KI-Crawlern?
  3. Wie bremsen 429- und 503-Antworten Crawler?
  4. Wie richte ich ein Rate Limit für KI-Crawler ein?
  5. Kann Caching die Crawler-Last senken?
  6. Was sollte ich beim Drosseln von Crawlern vermeiden?
  7. Wie prüfe ich, ob Crawler weiterhin durchkommen?

Welcher Crawler verursacht die Last wirklich?

Schauen Sie nach, bevor Sie etwas ändern. Zählen Sie in Ihren Zugriffs-Logs die Anfragen pro User-Agent und pro Stunde und prüfen Sie die Quell-IPs anhand der Bereiche, die jeder Anbieter veröffentlicht; unser Leitfaden zum Prüfen von Server-Logs auf KI-Crawler enthält die Befehle. Zwei Befunde sind häufig:

Sortieren Sie Crawler außerdem nach Aufgabe. Trainings-Crawler wie GPTBot und ClaudeBot sind nicht diejenigen, die Sie in der KI-Suche zitierbar machen; ist einer davon das Problem, ist es eine vernünftige Option, ihn zu sperren. Der Rest dieses Leitfadens gilt für Crawler, die Sie behalten wollen.

Funktioniert Crawl-delay bei KI-Crawlern?

Crawl-delay ist nicht Teil von RFC 9309, jeder Betreiber entscheidet also selbst, ob er es liest. Das sagt die Dokumentation Stand November 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Achten Sie auf die Gruppenlogik. Ein Crawler, der eine Gruppe mit seinem eigenen Namen findet, ignoriert die Gruppe User-agent: * vollständig; eine ClaudeBot-Gruppe, die nur Crawl-delay enthält, würde also jedes Disallow verwerfen, das Sie für alle anderen gesetzt haben. Wiederholen Sie sie wie oben. Bing beschreibt Crawl-delay als Ausnahme, die es aus beiden Gruppen liest, aber davon sollten Sie bei anderen Crawlern nicht ausgehen.

Wie bremsen 429- und 503-Antworten Crawler?

Bei Lastspitzen ist der Statuscode das Signal, das Crawler respektieren sollen. 429 Too Many Requests, definiert in RFC 6585, bedeutet, dass der Client in einem bestimmten Zeitraum zu viele Anfragen gesendet hat, und kann einen Retry-After-Header tragen, der sagt, wie lange zu warten ist. 503 Service Unavailable sagt, dass der Server gerade überlastet ist.

Google dokumentiert dies als Weg, die Crawl-Rate des Googlebot schnell zu senken: Auf einen Teil der Crawl-Anfragen 500, 503 oder 429 statt 200 zurückgeben. Laut Google senkt das die Crawl-Rate für den gesamten Hostnamen, und Retry-After kann eine Anzahl von Sekunden oder ein Datum enthalten.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Halten Sie es kurz. Google rät davon ab, das länger als ein oder zwei Tage zu tun, weil eine URL, die diese Codes mehrere Tage lang liefert, aus dem Index entfernt werden kann. Für eine dauerhafte Senkung bietet Google stattdessen eine Sonderanfrage über die Search Console an.

OpenAI, Anthropic und Perplexity dokumentieren nicht, wie ihre Crawler auf 429, 503 oder Retry-After reagieren. Die Codes sind der Standardweg, um um weniger Anfragen zu bitten, aber wie schnell jeder KI-Crawler zurückfährt, lässt sich nicht nachlesen.

Wie richte ich ein Rate Limit für KI-Crawler ein?

Geben Sie jedem Crawler ein eigenes Budget statt einem Limit für den gesamten Traffic, und beantworten Sie Anfragen darüber mit 429. In nginx erledigt das das Modul limit_req. Anfragen mit leerem Schlüssel werden nicht gezählt, ein map, das nur für Crawler-User-Agents einen Schlüssel liefert, lässt menschliche Besucher also in Ruhe. Hier bekommt jeder Crawler 60 Anfragen pro Minute mit einem Burst von 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Der Schlüssel ist hier der User-Agent; wer den Namen eines Crawlers kopiert, teilt sich also dessen Budget. Für ein Rate Limit ist das hinnehmbar. Für eine Allow-Regel gleichen Sie zusätzlich die veröffentlichten IP-Bereiche des Anbieters ab.

Bei Cloudflare erledigen Rate-Limiting-Regeln dieselbe Aufgabe am Edge. Im Free-Plan erhalten Sie eine Regel, gezählt pro IP über 10 Sekunden, und der Regelausdruck kann den Pfad und das Feld Verified Bot nutzen. Pro IP zu zählen ist grob bei Crawlern, die Anfragen auf viele Adressen verteilen, und höhere Pläne bieten mehr Zähloptionen. Die Standardantwort ist 429, und Sie können einen anderen 4xx-Code und einen eigenen Body festlegen. AI Crawl Control bietet pro Crawler Allow, Block und, in einer privaten Beta, Charge, aber keine Einstellung für die Rate.

Was auch immer Sie verwenden: Nehmen Sie /robots.txt vom Limit aus. Laut RFC 9309 muss ein Crawler bei einem Serverfehler für die robots.txt die ganze Website als gesperrt behandeln, und Google zählt 429 nicht zu den 4xx-Codes, die es als fehlende Datei behandelt.

Kann Caching die Crawler-Last senken?

Oft mehr als ein Rate Limit. Crawler fragen meist öffentliche Seiten an, die für jeden Besucher gleich sind; sie aus einem CDN oder Seiten-Cache auszuliefern macht aus teurem Rendering günstige Cache-Treffer. Prüfen Sie, dass Ihr Cache keine eigene, ungecachte Variante für Crawler-User-Agents vorhält.

Bedingte Anfragen helfen ebenfalls. Laut Google unterstützen seine Crawler HTTP-Caching mit ETag und If-None-Match sowie mit Last-Modified und If-Modified-Since und verwenden ETag, wenn beides vorhanden ist. Die Crawler-Seiten von OpenAI, Anthropic und Perplexity sagen nicht, ob ihre Crawler bedingte Anfragen senden; rechnen Sie mit dieser Ersparnis also nur bei Google.

Was sollte ich beim Drosseln von Crawlern vermeiden?

Wie prüfe ich, ob Crawler weiterhin durchkommen?

Rate Limits sind schnell zu streng eingestellt. Die kostenlose AISeeWhy-Prüfung ruft eine Seite als 16 KI- und Such-Crawler neben einem echten Browser ab, wendet Ihre robots.txt pro Crawler an und erkennt Challenge-Seiten von Firewalls; eine Regel, die Crawlern anders antwortet als Browsern, fällt also auf. Eine Anfrage pro Crawler löst kein vernünftiges Limit aus, und genau darum geht es: Führen Sie die Prüfung nach einer Regeländerung aus, um zu bestätigen, dass normale Anfragen weiterhin durchgehen. Die kostenlose IP-Prüfung für KI-Crawler zeigt Ihnen, ob eine IP aus Ihren Logs wirklich zu GPTBot oder einem anderen Crawler gehört.

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Unterstützt Google Crawl-delay?

Nein. Die robots.txt-Dokumentation von Google führt crawl-delay unter den Feldern auf, die es nicht unterstützt. Um den Googlebot kurzzeitig zu bremsen, geben Sie auf einen Teil der Anfragen 503, 500 oder 429 zurück; für eine längere Senkung bietet Google eine Sonderanfrage über die Search Console an.

Beachtet ClaudeBot Crawl-delay?

Laut Anthropic unterstützt es die nicht standardisierte Erweiterung Crawl-delay. Setzen Sie sie in eine ClaudeBot-Gruppe und wiederholen Sie dort alle Disallow-Regeln aus Ihrer Gruppe User-agent: *.

Unterstützen GPTBot und PerplexityBot Crawl-delay?

Die Crawler-Seiten von OpenAI und Perplexity erwähnen Crawl-delay nicht, die Wirkung ist also nicht dokumentiert. Nutzen Sie ein serverseitiges Limit, das überzählige Anfragen mit 429 beantwortet.

Schadet eine 429-Antwort meinem Ranking?

Nicht für kurze Zeit. Google dokumentiert 429 und 503 als Weg, das Crawling vorübergehend zu reduzieren, warnt aber, dass URLs, die sie mehrere Tage lang liefern, aus dem Index entfernt werden können.

Sollte ich GPTBot sperren, um die Last zu senken?

Das können Sie. Laut OpenAI crawlt GPTBot Inhalte, die für das Training verwendet werden können, und jede robots.txt-Einstellung ist unabhängig; eine Sperre nimmt Sie also nicht aus der ChatGPT-Suche, die OAI-SearchBot nutzt. Prüfen Sie zuerst Ihre Logs, um sicherzugehen, dass die Last von den Adressen von OpenAI kommt.

Quellen

Weitere Artikel