Wat is llms.txt, en is het de moeite waard?

Gepubliceerd

Kort antwoord

llms.txt is een voorgesteld Markdown-bestand op /llms.txt dat AI-tools een korte samenvatting van je site geeft, plus een lijst links naar de nuttigste pagina's. Het is een voorstel uit de community, geen standaard, en de grote AI-zoekcrawlers zeggen het niet te gebruiken. Het is goedkoop toe te voegen, maar vervangt geen crawlbare HTML.

llms.txt krijgt veel aandacht en wordt vaak gepresenteerd als de robots.txt van AI. Het is iets anders: robots.txt legt vast wat crawlers mogen ophalen, terwijl llms.txt een leesgids is die AI-tools wijst op content die het lezen waard is. Hier lees je wat het voorstel zegt, wat er bekend is over het gebruik en hoe je er een schrijft.

Op deze pagina
  1. Waar komt llms.txt vandaan?
  2. Wat staat er in een llms.txt-bestand?
  3. Wie leest llms.txt nu daadwerkelijk?
  4. Moet ik er toch een toevoegen?
  5. Hoe schrijf ik een goede llms.txt?
  6. Hoe gaat AISeeWhy om met llms.txt?

Waar komt llms.txt vandaan?

Jeremy Howard stelde het bestand /llms.txt in september 2024 voor, en het voorstel wordt bijgehouden op llmstxt.org. Het doel is één bestand te standaardiseren dat taalmodellen en agents helpt een website te gebruiken op het moment dat ze iets nodig hebben, bijvoorbeeld wanneer een codeerassistent de documentatie van een bibliotheek zoekt, en dus niet voor training.

Het idee speelt in op een echt probleem. Webpagina's bevatten navigatie, scripts, banners en layout. Een korte, samengestelde Markdown-file met links naar schone versies van de belangrijkste pagina's is makkelijker te verwerken voor een model met een beperkt contextvenster.

Wat staat er in een llms.txt-bestand?

Het bestand is Markdown met een vaste volgorde. Alleen het eerste element is verplicht:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Het voorstel raadt ook aan om Markdown-versies van pagina's aan te bieden op dezelfde URL met .md erachter, bijvoorbeeld page.html.md, zodat tools schone tekst kunnen ophalen.

Wie leest llms.txt nu daadwerkelijk?

Hier loont het om voorzichtig te zijn. Volgens de site llmstxt.org worden de bestanden het meest gebruikt voor softwaredocumentatie, waar codeeragents ze volgen. OpenAI, Anthropic, Google en Perplexity noemen llms.txt in de crawlerdocumentatie die wij hebben bekeken niet onder de signalen die hun zoekcrawlers gebruiken.

Google gaat voor zijn eigen zoekfuncties nog verder. In zijn richtlijnen over AI Overviews en AI Mode staat dat je geen nieuwe machineleesbare bestanden, AI-tekstbestanden of markup hoeft te maken om daarin te verschijnen. Voor Google Zoeken heeft llms.txt geen genoemde rol.

Het eerlijke antwoord is dus: sommige AI-tools, meestal codeerassistenten en agents die naar een site worden gewezen, lezen het misschien. De crawlers die bepalen of AI-zoeken je pagina citeert, werken met je HTML.

Of er iets je bestand leest, kun je zelf nagaan. Zoek in de logs van je server of cdn naar verzoeken aan /llms.txt en bekijk de user agents. Komen er na een paar weken geen verzoeken, dan zegt dat meer over de waarde voor jouw site dan welke algemene bewering ook.

Moet ik er toch een toevoegen?

Voor de meeste sites is het een goedkope toevoeging met weinig zekerheid. Het kost een paar minuten, kan je zichtbaarheid in zoeken niet schaden en helpt misschien agents die ernaar zoeken. Het is het nuttigst voor documentatie, ontwikkelaarstools en producten met veel naslagmateriaal.

Wat het niet kan, is toegangsproblemen oplossen. Blokkeert een firewall AI-crawlers, verbiedt je robots.txt ze of verschijnt je content pas nadat JavaScript is uitgevoerd, dan verandert llms.txt niets. Los die eerst op.

Hoe schrijf ik een goede llms.txt?

Hoe gaat AISeeWhy om met llms.txt?

AISeeWhy controleert of je site een llms.txt heeft en of de gecontroleerde pagina erin staat. Omdat AI-crawlers het nu zelden lezen, is een ontbrekend bestand een P3-bevinding, de laagste prioriteit, en bevat het rapport een concept dat is opgebouwd uit je paginatitel, beschrijving en sitemap en dat je kunt bewerken en publiceren.

Veelgestelde vragen

Is llms.txt een officiële standaard?

Nee. Het is een voorstel uit de community, gepubliceerd op llmstxt.org. Het is geen IETF- of W3C-standaard, en geen enkele AI-aanbieder is verplicht het te lezen.

Blokkeert llms.txt AI-training?

Nee. Het is een lijst links, geen verzameling toestemmingen. Om training uit te sluiten gebruik je de trainingstokens in robots.txt, zoals GPTBot, ClaudeBot of Google-Extended.

Heb ik llms.txt nodig om in Google AI Overviews te verschijnen?

Nee. Volgens Google heb je geen AI-tekstbestanden of speciale markup nodig om in AI Overviews of AI Mode te verschijnen. De pagina moet geïndexeerd zijn en in aanmerking komen voor een snippet.

Kan llms.txt in een submap staan?

De huidige versie van het voorstel staat een bestand op een subpad toe, zoals /docs/llms.txt, dat de pagina's onder dat pad dekt. De meeste sites hebben maar één bestand in de root nodig.

Bronnen

Meer artikelen