Was ist llms.txt, und lohnt sie sich?
llms.txt ist eine vorgeschlagene Markdown-Datei unter /llms.txt, die KI-Tools eine kurze Zusammenfassung Ihrer Website und eine Liste von Links zu den nützlichsten Seiten gibt. Sie ist ein Community-Vorschlag, kein Standard, und die großen KI-Suchcrawler geben nicht an, sie zu nutzen. Sie ist günstig hinzuzufügen, ersetzt aber kein crawlbares HTML.
llms.txt bekommt viel Aufmerksamkeit und wird oft als die robots.txt der KI dargestellt. Sie ist jedoch etwas anderes: Die robots.txt legt fest, was Crawler abrufen dürfen, während llms.txt ein Lesewegweiser ist, der KI-Tools auf lesenswerte Inhalte hinweist. Hier steht, was der Vorschlag sagt, was über seine Nutzung bekannt ist und wie Sie eine schreiben.
Auf dieser Seite
Woher kommt llms.txt?
Jeremy Howard schlug die Datei /llms.txt im September 2024 vor; der Vorschlag wird auf llmstxt.org gepflegt. Ziel ist es, eine einzige Datei zu standardisieren, die Sprachmodellen und Agenten hilft, eine Website zur Laufzeit zu nutzen, etwa wenn ein Coding-Assistent die Dokumentation einer Bibliothek braucht, und nicht für das Training.
Die Idee reagiert auf ein reales Problem. Webseiten enthalten Navigation, Skripte, Banner und Layout. Eine kurze, kuratierte Markdown-Datei mit Links auf saubere Versionen der wichtigsten Seiten ist für ein Modell in einem begrenzten Kontextfenster leichter zu verarbeiten.
Was steht in einer llms.txt?
Die Datei ist Markdown mit fester Reihenfolge. Nur das erste Element ist Pflicht:
- Eine H1 mit dem Namen der Website oder des Projekts (Pflicht).
- Ein Blockzitat mit einer kurzen Zusammenfassung, worum es auf der Website geht.
- Optionale Absätze oder Listen mit weiteren Details, ohne Überschriften.
- H2-Abschnitte mit je einer Liste von Markdown-Links der Form
[name](url), optional gefolgt von einem Doppelpunkt und einer Anmerkung. - Ein optionaler Abschnitt namens
Optionalfür sekundäre Links, die ein Tool überspringen kann, wenn es weniger Kontext braucht.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
Der Vorschlag regt außerdem an, Markdown-Versionen von Seiten unter derselben URL mit angehängtem .md anzubieten, zum Beispiel page.html.md, damit Tools sauberen Text abrufen können.
Wer liest llms.txt heute tatsächlich?
Hier lohnt sich Vorsicht. Laut der Website llmstxt.org werden die Dateien am stärksten für Software-Dokumentation genutzt, wo Coding-Agenten ihnen folgen. OpenAI, Anthropic, Google und Perplexity führen llms.txt in der von uns geprüften Crawler-Dokumentation nicht unter den Signalen auf, die ihre Suchcrawler verwenden.
Google geht für seine eigenen Suchfunktionen noch weiter. In seinen Hinweisen zu AI Overviews und AI Mode heißt es, dass Sie keine neuen maschinenlesbaren Dateien, KI-Textdateien oder Auszeichnungen erstellen müssen, um darin zu erscheinen. Für die Google-Suche hat llms.txt keine genannte Rolle.
Die ehrliche Antwort lautet also: Manche KI-Tools, meist Coding-Assistenten und Agenten, die auf eine Website verwiesen werden, lesen sie möglicherweise. Die Crawler, die entscheiden, ob die KI-Suche Ihre Seite zitiert, arbeiten mit Ihrem HTML.
Ob etwas Ihre Datei liest, können Sie selbst prüfen. Suchen Sie in den Logs Ihres Servers oder CDNs nach Anfragen an /llms.txt und sehen Sie sich die User-Agents an. Kommen über einige Wochen keine Anfragen, sagt das mehr über den Nutzen für Ihre Website als jede allgemeine Behauptung.
Sollte ich trotzdem eine anlegen?
Für die meisten Websites ist sie eine günstige Ergänzung mit geringer Gewissheit. Sie kostet wenige Minuten, kann Ihrer Sichtbarkeit in der Suche nicht schaden und hilft womöglich Agenten, die danach suchen. Am nützlichsten ist sie bei Dokumentation, Entwickler-Tools und Produkten mit viel Referenzmaterial.
Zugriffsprobleme löst sie nicht. Blockiert eine Firewall KI-Crawler, verbietet Ihre robots.txt sie oder erscheint Ihr Inhalt erst nach der Ausführung von JavaScript, ändert llms.txt nichts. Beheben Sie das zuerst.
Wie schreibe ich eine gute llms.txt?
- Legen Sie sie unter
https://yourdomain.com/llms.txtab und liefern Sie sie als einfachen Text mit Status 200 aus, nicht als HTML-Seite. - Schreiben Sie die Zusammenfassung so, wie Sie einer neuen Kollegin die Website in zwei Sätzen erklären würden: was sie ist und für wen.
- Listen Sie die Seiten auf, die echte Fragen beantworten: Produkt, Preise, Dokumentation, Richtlinien. Lassen Sie Tag-Seiten und Archive weg.
- Verwenden Sie absolute URLs und halten Sie die Liste kurz genug, damit sie nützlich bleibt; ein paar Dutzend Links reichen für die meisten Websites.
- Halten Sie sie aktuell. Eine Datei, die auf entfernte Seiten verweist, ist schlechter als keine.
- Nutzen Sie sie nicht, um Berechtigungen festzulegen. Zugriffsregeln gehören in die robots.txt.
Wie geht AISeeWhy mit llms.txt um?
AISeeWhy prüft, ob Ihre Website eine llms.txt hat und ob die geprüfte Seite darin aufgeführt ist. Da KI-Crawler sie heute selten lesen, ist eine fehlende Datei ein P3-Befund, die niedrigste Priorität, und der Bericht enthält einen Entwurf aus Seitentitel, Beschreibung und Sitemap, den Sie bearbeiten und veröffentlichen können.
Häufige Fragen
Ist llms.txt ein offizieller Standard?
Nein. Es ist ein Community-Vorschlag, veröffentlicht auf llmstxt.org. Er ist kein IETF- oder W3C-Standard, und kein KI-Anbieter ist verpflichtet, ihn zu lesen.
Blockiert llms.txt das KI-Training?
Nein. Sie ist eine Liste von Links, keine Sammlung von Berechtigungen. Um das Training auszuschließen, nutzen Sie die Training-Token in der robots.txt, etwa GPTBot, ClaudeBot oder Google-Extended.
Brauche ich llms.txt, um in Google AI Overviews zu erscheinen?
Nein. Laut Google brauchen Sie keine KI-Textdateien oder spezielle Auszeichnungen, um in AI Overviews oder AI Mode zu erscheinen. Die Seite muss indexiert und für die Anzeige eines Snippets geeignet sein.
Kann llms.txt in einem Unterordner liegen?
Die aktuelle Version des Vorschlags erlaubt eine Datei in einem Unterpfad, etwa /docs/llms.txt, die die Seiten unter diesem Pfad abdeckt. Die meisten Websites brauchen nur eine Datei im Stammverzeichnis.
Quellen
- llmstxt.org: Die Datei /llms.txt
- Google Search Central: KI-Funktionen und Ihre Website
- OpenAI: Überblick über die OpenAI-Crawler