Was ist llms.txt, und lohnt sie sich?

Veröffentlicht

Kurz gesagt

llms.txt ist eine vorgeschlagene Markdown-Datei unter /llms.txt, die KI-Tools eine kurze Zusammenfassung Ihrer Website und eine Liste von Links zu den nützlichsten Seiten gibt. Sie ist ein Community-Vorschlag, kein Standard, und die großen KI-Suchcrawler geben nicht an, sie zu nutzen. Sie ist günstig hinzuzufügen, ersetzt aber kein crawlbares HTML.

llms.txt bekommt viel Aufmerksamkeit und wird oft als die robots.txt der KI dargestellt. Sie ist jedoch etwas anderes: Die robots.txt legt fest, was Crawler abrufen dürfen, während llms.txt ein Lesewegweiser ist, der KI-Tools auf lesenswerte Inhalte hinweist. Hier steht, was der Vorschlag sagt, was über seine Nutzung bekannt ist und wie Sie eine schreiben.

Auf dieser Seite
  1. Woher kommt llms.txt?
  2. Was steht in einer llms.txt?
  3. Wer liest llms.txt heute tatsächlich?
  4. Sollte ich trotzdem eine anlegen?
  5. Wie schreibe ich eine gute llms.txt?
  6. Wie geht AISeeWhy mit llms.txt um?

Woher kommt llms.txt?

Jeremy Howard schlug die Datei /llms.txt im September 2024 vor; der Vorschlag wird auf llmstxt.org gepflegt. Ziel ist es, eine einzige Datei zu standardisieren, die Sprachmodellen und Agenten hilft, eine Website zur Laufzeit zu nutzen, etwa wenn ein Coding-Assistent die Dokumentation einer Bibliothek braucht, und nicht für das Training.

Die Idee reagiert auf ein reales Problem. Webseiten enthalten Navigation, Skripte, Banner und Layout. Eine kurze, kuratierte Markdown-Datei mit Links auf saubere Versionen der wichtigsten Seiten ist für ein Modell in einem begrenzten Kontextfenster leichter zu verarbeiten.

Was steht in einer llms.txt?

Die Datei ist Markdown mit fester Reihenfolge. Nur das erste Element ist Pflicht:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Der Vorschlag regt außerdem an, Markdown-Versionen von Seiten unter derselben URL mit angehängtem .md anzubieten, zum Beispiel page.html.md, damit Tools sauberen Text abrufen können.

Wer liest llms.txt heute tatsächlich?

Hier lohnt sich Vorsicht. Laut der Website llmstxt.org werden die Dateien am stärksten für Software-Dokumentation genutzt, wo Coding-Agenten ihnen folgen. OpenAI, Anthropic, Google und Perplexity führen llms.txt in der von uns geprüften Crawler-Dokumentation nicht unter den Signalen auf, die ihre Suchcrawler verwenden.

Google geht für seine eigenen Suchfunktionen noch weiter. In seinen Hinweisen zu AI Overviews und AI Mode heißt es, dass Sie keine neuen maschinenlesbaren Dateien, KI-Textdateien oder Auszeichnungen erstellen müssen, um darin zu erscheinen. Für die Google-Suche hat llms.txt keine genannte Rolle.

Die ehrliche Antwort lautet also: Manche KI-Tools, meist Coding-Assistenten und Agenten, die auf eine Website verwiesen werden, lesen sie möglicherweise. Die Crawler, die entscheiden, ob die KI-Suche Ihre Seite zitiert, arbeiten mit Ihrem HTML.

Ob etwas Ihre Datei liest, können Sie selbst prüfen. Suchen Sie in den Logs Ihres Servers oder CDNs nach Anfragen an /llms.txt und sehen Sie sich die User-Agents an. Kommen über einige Wochen keine Anfragen, sagt das mehr über den Nutzen für Ihre Website als jede allgemeine Behauptung.

Sollte ich trotzdem eine anlegen?

Für die meisten Websites ist sie eine günstige Ergänzung mit geringer Gewissheit. Sie kostet wenige Minuten, kann Ihrer Sichtbarkeit in der Suche nicht schaden und hilft womöglich Agenten, die danach suchen. Am nützlichsten ist sie bei Dokumentation, Entwickler-Tools und Produkten mit viel Referenzmaterial.

Zugriffsprobleme löst sie nicht. Blockiert eine Firewall KI-Crawler, verbietet Ihre robots.txt sie oder erscheint Ihr Inhalt erst nach der Ausführung von JavaScript, ändert llms.txt nichts. Beheben Sie das zuerst.

Wie schreibe ich eine gute llms.txt?

Wie geht AISeeWhy mit llms.txt um?

AISeeWhy prüft, ob Ihre Website eine llms.txt hat und ob die geprüfte Seite darin aufgeführt ist. Da KI-Crawler sie heute selten lesen, ist eine fehlende Datei ein P3-Befund, die niedrigste Priorität, und der Bericht enthält einen Entwurf aus Seitentitel, Beschreibung und Sitemap, den Sie bearbeiten und veröffentlichen können.

Häufige Fragen

Ist llms.txt ein offizieller Standard?

Nein. Es ist ein Community-Vorschlag, veröffentlicht auf llmstxt.org. Er ist kein IETF- oder W3C-Standard, und kein KI-Anbieter ist verpflichtet, ihn zu lesen.

Blockiert llms.txt das KI-Training?

Nein. Sie ist eine Liste von Links, keine Sammlung von Berechtigungen. Um das Training auszuschließen, nutzen Sie die Training-Token in der robots.txt, etwa GPTBot, ClaudeBot oder Google-Extended.

Brauche ich llms.txt, um in Google AI Overviews zu erscheinen?

Nein. Laut Google brauchen Sie keine KI-Textdateien oder spezielle Auszeichnungen, um in AI Overviews oder AI Mode zu erscheinen. Die Seite muss indexiert und für die Anzeige eines Snippets geeignet sein.

Kann llms.txt in einem Unterordner liegen?

Die aktuelle Version des Vorschlags erlaubt eine Datei in einem Unterpfad, etwa /docs/llms.txt, die die Seiten unter diesem Pfad abdeckt. Die meisten Websites brauchen nur eine Datei im Stammverzeichnis.

Quellen

Weitere Artikel