Hoeveel sites publiceren een llms.txt? We controleerden 10.000 domeinen

Gepubliceerd

Kort antwoord

Van de 10.000 populairste domeinen publiceert 12,4% een llms.txt (1.240), en 16,7% van de domeinen waarvan de homepage met HTML antwoordt. Grotere sites publiceren er vaker een. Sites die er een publiceren, blokkeren AI-zoekcrawlers in 1,4% van de gevallen, tegenover 15,0% bij sites zonder. Dit telt alleen publicatie: het laat niet zien of een AI-assistent het bestand leest.

llms.txt is een van de meest besproken bestanden in AI-zoeken, en een van de minst gemeten. We lazen al de robots.txt van de top 10.000 domeinen, en in dezelfde ronde vroegen we van elk domein /llms.txt op. Dit kwam eruit.

Op deze pagina
  1. Hoe hebben we gecontroleerd?
  2. Wat hebben we gevonden?
  3. Publiceren grotere sites vaker?
  4. Wie publiceert er een?
  5. Wat laat dit niet zien?
  6. Moet je er een publiceren?

Hoe hebben we gecontroleerd?

We namen de top 10.000 domeinen van de Tranco-lijst (lijst-ID JZWZY) en vroegen op 21 november 2026 van elk één keer /llms.txt op, met de eigen user agent van AISeeWhy, nadat we de homepage hadden gelezen en de redirect naar de hoofdhost hadden gevolgd.

Een domein telt als publicerend wanneer /llms.txt zelf antwoordt met een 200, een niet-lege tekstinhoud die geen HTML-pagina is, en geen redirect naar een andere pagina zoals een inlogpagina of de homepage. Het formaat van het bestand hebben we in deze run niet gecontroleerd.

Wat hebben we gevonden?

Publiceren grotere sites vaker?

Ja, met een duidelijk verschil. We deelden de websites (domeinen waarvan de homepage met HTML antwoordde) op naar Tranco-rang:

Wie publiceert er een?

Onder de 6.192 domeinen die een robots.txt serveren, zien de domeinen die een llms.txt publiceren er anders uit dan de rest:

Met andere woorden: de sites die de moeite nemen een llms.txt te publiceren, zijn vooral de sites die AI-crawlers al binnenlaten.

Wat laat dit niet zien?

Het laat een verband zien, geen oorzaak. Een site die AI-zichtbaarheid serieus neemt, publiceert misschien een llms.txt en houdt ook zijn robots.txt open; dat betekent niet dat het bestand het verschil maakte. De telling meet bovendien alleen publicatie. Ze laat niet zien of een AI-assistent het bestand leest, en de grote AI-zoekcrawlers zeggen niet dat ze het gebruiken.

De cijfers beschrijven de regels voor de homepage en het bestand op één adres op één dag, voor de populairste domeinen. Kleinere sites kunnen er anders uitzien.

Moet je er een publiceren?

Het kost weinig en doet geen kwaad: een korte Markdown-samenvatting van je site en een lijst met je nuttigste pagina's. Houd het juist en houd de links werkend. Zie het niet als vervanging voor crawlers binnenlaten: een llms.txt op een site waarvan de firewall de crawler weigert, of waarvan de robots.txt hem verbiedt, helpt niemand.

Gratis tools

Volgende stappen

Veelgestelde vragen

Welk deel van de websites heeft een llms.txt?

Onder de 10.000 populairste domeinen die we controleerden, publiceert 12,4% er een. Onder de domeinen waarvan de homepage met HTML antwoordt is het aandeel 16,7%, en bij de grootste sites ligt het hoger: 22,6% in de top 1.000.

Laten sites met een llms.txt vaker AI-crawlers toe?

In onze data wel: ze blokkeren AI-zoek- en gebruikerscrawlers in 1,4% van de gevallen, tegenover 15,0% bij sites zonder. Dit is een correlatie. Het laat niet zien dat het bestand verandert hoe crawlers een site behandelen.

Helpt een llms.txt om door AI-assistenten geciteerd te worden?

Onze data kan dat niet zeggen. Ze telt welke sites het bestand publiceren, niet of een assistent het gebruikt, en de grote AI-zoekcrawlers zeggen niet dat ze het lezen. Crawlbare pagina's en open toegang zijn belangrijker.

Hoe zie je of een site een echte llms.txt heeft?

Vraag /llms.txt op en controleer dat het op dat adres met een 200 antwoordt, met een tekstinhoud die geen HTML-pagina is. Een redirect naar de homepage of een inlogpagina is geen llms.txt.

Bronnen

Meer artikelen