Wir haben die robots.txt der 10.000 beliebtesten Sites gelesen. So gehen sie mit KI-Crawlern um
Von den 6.192 Domains der Tranco-Top-10.000, die eine robots.txt ausliefern, blockieren 23,2 % mindestens einen KI-Trainings-Crawler und 12,3 % mindestens einen KI-Such- oder Nutzer-Crawler. 51,6 % der Sites, die das Training blockieren, blockieren auch die KI-Suche. Nur 11,2 % lehnen das Training ab und erlauben dabei jeden KI-Such-Crawler.
Im November haben wir die robots.txt der 1.000 beliebtesten Domains gelesen. Diesmal sind es 10.000, mit derselben Methode, und wir haben zusätzlich geprüft, wie sich das Bild bei kleineren Sites verändert. Die Kernaussage bleibt bestehen: Das Blockieren des Trainings und das Blockieren der Suche werden als eine Entscheidung behandelt, obwohl es zwei sind.
Auf dieser Seite
Wie haben wir gemessen?
Wir haben die Top-10.000-Domains der Tranco-Liste (Listen-ID JZWZY) genommen und am 21. November 2026 von jeder Domain einmal die Startseite, die robots.txt und die llms.txt abgerufen, mit dem eigenen User-Agent von AISeeWhy. Jede robots.txt haben wir nach RFC 9309 für die Startseite (/) und für 16 KI- und Such-Crawler ausgewertet.
6.192 der 10.000 Domains lieferten eine robots.txt aus (eine erfolgreiche Antwort, die keine HTML-Seite ist). 1.121 antworteten mit einem 4xx, was keine Regeln und alle Crawler erlaubt bedeutet, und 2.687 lieferten keine aus (keine HTTPS-Site, Fehler, Zeitüberschreitungen oder stattdessen eine HTML-Seite). Alle folgenden Prozentwerte beziehen sich auf die 6.192. Die Liste enthält CDNs und APIs, die keine Website ausliefern.
Was haben wir gefunden?
- 23,2 % (1.437 Domains) blockieren mindestens einen KI-Trainings-Crawler.
- 12,3 % (762) blockieren mindestens einen KI-Such- oder Nutzer-Crawler, sodass die Seiten von den darauf aufbauenden Antworten nicht verwendet oder zitiert werden sollen.
- 51,6 % der Domains, die einen Trainings-Crawler blockieren (742 von 1.437), blockieren auch mindestens einen KI-Such- oder Nutzer-Crawler.
- Nur 11,2 % (695) wählen den selektiven Weg: Sie blockieren Trainings-Crawler und erlauben jeden KI-Such- und Nutzer-Crawler.
- 6,5 % (401) geben ihre KI-Präferenzen mit
Content-Signalan. - 12,4 % aller 10.000 Domains (1.240) veröffentlichen eine
llms.txt. - Zum Vergleich: 2,0 % (124) blockieren
Googlebotauf der Startseite.
Welche Crawler werden am häufigsten blockiert?
Anteil der 6.192 Domains, deren robots.txt die Startseite für den Crawler untersagt:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBotmit 10,4 % ist der am häufigsten blockierte KI-Such-Crawler, vorOAI-SearchBotmit 7,0 % undClaude-SearchBotmit 7,0 %.- Die Crawler, die eine Seite öffnen, wenn eine Person danach fragt:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
Blockieren größere Sites mehr?
Ja, und sie verwechseln Training und Suche häufiger. Wir haben die Liste nach Rang aufgeteilt:
- Rang 1 bis 1.000 (560 Domains mit robots.txt): 28,6 % blockieren das Training, 18,6 % blockieren die KI-Suche, und 63,1 % der Trainings-Blocker blockieren auch die KI-Suche.
- Rang 1.001 bis 3.000 (1.256 Domains): 23,5 %, 13,5 % und 55,6 %.
- Rang 3.001 bis 10.000 (4.376 Domains): 22,4 %, 11,2 % und 48,6 %.
Der selektive Weg ist bei jeder Größe selten: 10,5 %, 10,4 % und 11,5 % der Domains in den drei Gruppen.
Hat sich seit unserem Bericht vom 12. November etwas geändert?
Wir haben die ersten 1.000 Domains mit derselben Liste erneut geprüft. Das Ergebnis ist auf etwa einen Punkt genau stabil: 28,6 % blockieren das Training (29,9 % am 12. November), 18,6 % blockieren die KI-Suche (19,5 %), und 63,1 % der Trainings-Blocker blockieren auch die KI-Suche (63,2 %). Die Bezugsgrößen unterscheiden sich leicht (jetzt 560 Domains mit robots.txt, damals 518), weil dieser Lauf vor dem Abruf der Weiterleitung einer Domain auf den Haupt-Host folgt.
Was bedeutet das für Ihre robots.txt?
Die meisten KI-Unternehmen dokumentieren getrennte Crawler für Training und Suche und geben an, dass die Einstellungen unabhängig voneinander sind. Wenn Sie GPTBot untersagen, bleibt OAI-SearchBot unberührt, und wenn Sie ClaudeBot untersagen, bleibt Claude-SearchBot unberührt. Wenn Sie das Training ablehnen und trotzdem zitiert werden möchten, blockieren Sie die Trainings-Tokens und erlauben Sie die Such- und Nutzer-Tokens. Wiederholen Sie private Pfade in jeder Gruppe, denn eine benannte Gruppe erbt nichts von *.
Wie verlässlich sind diese Zahlen?
Es sind robots.txt-Regeln für die Startseite, von einem Parser an einem Tag gelesen. Sie messen keine Firewall-Sperren, die einen Crawler abweisen können, den die robots.txt erlaubt. Sie können nicht sagen, was die jeweilige Site beabsichtigt hat, und die Tranco-Liste enthält Domains, die keine Website ausliefern. Eine Regel, die einen Such-Crawler blockiert, ist kein Beweis für einen Fehler, sondern nur für eine Entscheidung, die oft ohne Kenntnis des Unterschieds getroffen wird. Sie dürfen die Zahlen mit einem Link auf diese Seite zitieren.
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- llms.txt Checker und Validator
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Welcher Anteil beliebter Sites blockiert KI-Crawler?
Unter den 6.192 Domains der Tranco-Top-10.000, die eine robots.txt ausliefern, blockieren 23,2 % mindestens einen KI-Trainings-Crawler und 12,3 % mindestens einen KI-Such- oder Nutzer-Crawler.
Blockieren Sites, die KI-Training blockieren, auch die KI-Suche?
Oft. 51,6 % der Sites, die einen Trainings-Crawler blockieren, blockieren auch mindestens einen KI-Such- oder Nutzer-Crawler, obwohl die Anbieter diese als getrennte Crawler mit unabhängigen Einstellungen dokumentieren.
Welcher KI-Crawler wird am häufigsten blockiert?
Bei den Trainings-Crawlern Bytespider (18,7 %) und CCBot (18,5 %), danach GPTBot (17,4 %). Bei den KI-Such-Crawlern wird PerplexityBot am häufigsten blockiert, auf 10,4 % der Domains.
Warum weichen die Zahlen von Ihrem Bericht zu 1.000 Sites ab?
Die ersten 1.000 Domains ergeben fast dieselben Prozentwerte (28,6 % und 18,6 % gegenüber 29,9 % und 19,5 %). Die Zahlen für 10.000 Sites sind niedriger, weil kleinere Sites weniger blockieren.
Quellen
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: ein forschungsorientiertes Ranking der Top-Sites
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Überblick über die Crawler von OpenAI
- Anthropic: Durchsucht Anthropic das Web, und wie können Website-Betreiber den Crawler blockieren?
- Perplexity: Perplexity-Crawler