Wie viele Sites veröffentlichen eine llms.txt? Wir haben 10.000 Domains geprüft

Veröffentlicht

Kurz gesagt

Von den 10.000 beliebtesten Domains veröffentlichen 12,4 % eine llms.txt (1.240), und 16,7 % derjenigen, deren Startseite mit HTML antwortet. Größere Sites veröffentlichen sie häufiger. Sites mit llms.txt blockieren KI-Such-Crawler in 1,4 % der Fälle, Sites ohne in 15,0 %. Gezählt wird nur die Veröffentlichung: Es zeigt nicht, ob ein KI-Assistent die Datei liest.

Die llms.txt ist eine der meistdiskutierten Dateien der KI-Suche und eine der am wenigsten gemessenen. Wir haben bereits die robots.txt der Top-10.000-Domains gelesen und dabei in demselben Durchlauf bei jeder Domain nach /llms.txt gefragt. Das ist dabei herausgekommen.

Auf dieser Seite
  1. Wie haben wir geprüft?
  2. Was haben wir gefunden?
  3. Veröffentlichen größere Sites mehr?
  4. Wer veröffentlicht eine?
  5. Was zeigt das nicht?
  6. Sollten Sie eine veröffentlichen?

Wie haben wir geprüft?

Wir haben die Top-10.000-Domains der Tranco-Liste (Listen-ID JZWZY) genommen und am 21. November 2026 von jeder einmal /llms.txt abgerufen, mit dem eigenen User-Agent von AISeeWhy, nachdem wir die Startseite gelesen und ihrer Weiterleitung auf den Haupt-Host gefolgt waren.

Eine Domain zählt als Veröffentlicher einer llms.txt, wenn /llms.txt selbst mit 200 antwortet, einen nicht leeren Text-Inhalt liefert, der keine HTML-Seite ist, und nicht auf eine andere Seite wie ein Login oder die Startseite weiterleitet. Das Format der Datei haben wir in diesem Lauf nicht geprüft.

Was haben wir gefunden?

Veröffentlichen größere Sites mehr?

Ja, mit deutlichem Abstand. Wir haben die Websites (Domains, deren Startseite mit HTML antwortete) nach Tranco-Rang aufgeteilt:

Wer veröffentlicht eine?

Unter den 6.192 Domains, die eine robots.txt ausliefern, unterscheiden sich diejenigen mit llms.txt vom Rest:

Mit anderen Worten: Die Sites, die sich die Mühe einer llms.txt machen, sind größtenteils die Sites, die KI-Crawler ohnehin hereinlassen.

Was zeigt das nicht?

Es zeigt einen Zusammenhang, keine Ursache. Eine Site, die KI-Sichtbarkeit ernst nimmt, veröffentlicht womöglich eine llms.txt und hält zugleich ihre robots.txt offen; das heißt nicht, dass die Datei den Unterschied gemacht hat. Die Zählung misst außerdem nur die Veröffentlichung. Sie zeigt nicht, ob ein KI-Assistent die Datei liest, und die großen KI-Such-Crawler geben nicht an, sie zu verwenden.

Die Zahlen beschreiben die Regeln der Startseite und die Datei an einer Adresse an einem Tag, für die beliebtesten Domains. Kleinere Sites können anders aussehen.

Sollten Sie eine veröffentlichen?

Sie ist günstig und harmlos: eine kurze Markdown-Zusammenfassung Ihrer Site und eine Liste Ihrer nützlichsten Seiten. Halten Sie sie korrekt und ihre Links funktionsfähig. Betrachten Sie sie nicht als Ersatz dafür, Crawler hereinzulassen: Eine llms.txt auf einer Site, deren Firewall den Crawler abweist oder deren robots.txt ihn untersagt, nützt niemandem.

Kostenlose Tools

Nächste Schritte

Häufige Fragen

Welcher Anteil der Websites hat eine llms.txt?

Unter den 10.000 beliebtesten geprüften Domains veröffentlichen 12,4 % eine. Unter den Domains, deren Startseite mit HTML antwortet, beträgt der Anteil 16,7 %, und bei den größten Sites ist er höher: 22,6 % in den Top 1.000.

Erlauben Sites mit llms.txt KI-Crawler häufiger?

In unseren Daten ja: Sie blockieren KI-Such- und Nutzer-Crawler in 1,4 % der Fälle, Sites ohne llms.txt in 15,0 %. Das ist eine Korrelation. Sie zeigt nicht, dass die Datei ändert, wie Crawler eine Site behandeln.

Hilft eine llms.txt dabei, von KI-Assistenten zitiert zu werden?

Unsere Daten können das nicht beantworten. Sie zählen, welche Sites die Datei veröffentlichen, nicht ob ein Assistent sie verwendet, und die großen KI-Such-Crawler geben nicht an, dass sie sie lesen. Crawlbare Seiten und offener Zugang sind wichtiger.

Woran erkenne ich, ob eine Site eine echte llms.txt hat?

Rufen Sie /llms.txt ab und prüfen Sie, dass die Adresse selbst mit 200 antwortet, mit einem Text-Inhalt, der keine HTML-Seite ist. Eine Weiterleitung auf die Startseite oder eine Login-Seite ist keine llms.txt.

Quellen

Weitere Artikel