Wir haben die robots.txt der 10.000 beliebtesten Sites gelesen. So gehen sie mit KI-Crawlern um

Veröffentlicht

Kurz gesagt

Von den 6.192 Domains der Tranco-Top-10.000, die eine robots.txt ausliefern, blockieren 23,2 % mindestens einen KI-Trainings-Crawler und 12,3 % mindestens einen KI-Such- oder Nutzer-Crawler. 51,6 % der Sites, die das Training blockieren, blockieren auch die KI-Suche. Nur 11,2 % lehnen das Training ab und erlauben dabei jeden KI-Such-Crawler.

Im November haben wir die robots.txt der 1.000 beliebtesten Domains gelesen. Diesmal sind es 10.000, mit derselben Methode, und wir haben zusätzlich geprüft, wie sich das Bild bei kleineren Sites verändert. Die Kernaussage bleibt bestehen: Das Blockieren des Trainings und das Blockieren der Suche werden als eine Entscheidung behandelt, obwohl es zwei sind.

Auf dieser Seite
  1. Wie haben wir gemessen?
  2. Was haben wir gefunden?
  3. Welche Crawler werden am häufigsten blockiert?
  4. Blockieren größere Sites mehr?
  5. Hat sich seit unserem Bericht vom 12. November etwas geändert?
  6. Was bedeutet das für Ihre robots.txt?
  7. Wie verlässlich sind diese Zahlen?

Wie haben wir gemessen?

Wir haben die Top-10.000-Domains der Tranco-Liste (Listen-ID JZWZY) genommen und am 21. November 2026 von jeder Domain einmal die Startseite, die robots.txt und die llms.txt abgerufen, mit dem eigenen User-Agent von AISeeWhy. Jede robots.txt haben wir nach RFC 9309 für die Startseite (/) und für 16 KI- und Such-Crawler ausgewertet.

6.192 der 10.000 Domains lieferten eine robots.txt aus (eine erfolgreiche Antwort, die keine HTML-Seite ist). 1.121 antworteten mit einem 4xx, was keine Regeln und alle Crawler erlaubt bedeutet, und 2.687 lieferten keine aus (keine HTTPS-Site, Fehler, Zeitüberschreitungen oder stattdessen eine HTML-Seite). Alle folgenden Prozentwerte beziehen sich auf die 6.192. Die Liste enthält CDNs und APIs, die keine Website ausliefern.

Was haben wir gefunden?

Welche Crawler werden am häufigsten blockiert?

Anteil der 6.192 Domains, deren robots.txt die Startseite für den Crawler untersagt:

Blockieren größere Sites mehr?

Ja, und sie verwechseln Training und Suche häufiger. Wir haben die Liste nach Rang aufgeteilt:

Der selektive Weg ist bei jeder Größe selten: 10,5 %, 10,4 % und 11,5 % der Domains in den drei Gruppen.

Hat sich seit unserem Bericht vom 12. November etwas geändert?

Wir haben die ersten 1.000 Domains mit derselben Liste erneut geprüft. Das Ergebnis ist auf etwa einen Punkt genau stabil: 28,6 % blockieren das Training (29,9 % am 12. November), 18,6 % blockieren die KI-Suche (19,5 %), und 63,1 % der Trainings-Blocker blockieren auch die KI-Suche (63,2 %). Die Bezugsgrößen unterscheiden sich leicht (jetzt 560 Domains mit robots.txt, damals 518), weil dieser Lauf vor dem Abruf der Weiterleitung einer Domain auf den Haupt-Host folgt.

Was bedeutet das für Ihre robots.txt?

Die meisten KI-Unternehmen dokumentieren getrennte Crawler für Training und Suche und geben an, dass die Einstellungen unabhängig voneinander sind. Wenn Sie GPTBot untersagen, bleibt OAI-SearchBot unberührt, und wenn Sie ClaudeBot untersagen, bleibt Claude-SearchBot unberührt. Wenn Sie das Training ablehnen und trotzdem zitiert werden möchten, blockieren Sie die Trainings-Tokens und erlauben Sie die Such- und Nutzer-Tokens. Wiederholen Sie private Pfade in jeder Gruppe, denn eine benannte Gruppe erbt nichts von *.

Wie verlässlich sind diese Zahlen?

Es sind robots.txt-Regeln für die Startseite, von einem Parser an einem Tag gelesen. Sie messen keine Firewall-Sperren, die einen Crawler abweisen können, den die robots.txt erlaubt. Sie können nicht sagen, was die jeweilige Site beabsichtigt hat, und die Tranco-Liste enthält Domains, die keine Website ausliefern. Eine Regel, die einen Such-Crawler blockiert, ist kein Beweis für einen Fehler, sondern nur für eine Entscheidung, die oft ohne Kenntnis des Unterschieds getroffen wird. Sie dürfen die Zahlen mit einem Link auf diese Seite zitieren.

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Welcher Anteil beliebter Sites blockiert KI-Crawler?

Unter den 6.192 Domains der Tranco-Top-10.000, die eine robots.txt ausliefern, blockieren 23,2 % mindestens einen KI-Trainings-Crawler und 12,3 % mindestens einen KI-Such- oder Nutzer-Crawler.

Blockieren Sites, die KI-Training blockieren, auch die KI-Suche?

Oft. 51,6 % der Sites, die einen Trainings-Crawler blockieren, blockieren auch mindestens einen KI-Such- oder Nutzer-Crawler, obwohl die Anbieter diese als getrennte Crawler mit unabhängigen Einstellungen dokumentieren.

Welcher KI-Crawler wird am häufigsten blockiert?

Bei den Trainings-Crawlern Bytespider (18,7 %) und CCBot (18,5 %), danach GPTBot (17,4 %). Bei den KI-Such-Crawlern wird PerplexityBot am häufigsten blockiert, auf 10,4 % der Domains.

Warum weichen die Zahlen von Ihrem Bericht zu 1.000 Sites ab?

Die ersten 1.000 Domains ergeben fast dieselben Prozentwerte (28,6 % und 18,6 % gegenüber 29,9 % und 19,5 %). Die Zahlen für 10.000 Sites sind niedriger, weil kleinere Sites weniger blockieren.

Quellen

Weitere Artikel