Hoeveel sites publiceren een llms.txt? We controleerden 10.000 domeinen
Van de 10.000 populairste domeinen publiceert 12,4% een llms.txt (1.240), en 16,7% van de domeinen waarvan de homepage met HTML antwoordt. Grotere sites publiceren er vaker een. Sites die er een publiceren, blokkeren AI-zoekcrawlers in 1,4% van de gevallen, tegenover 15,0% bij sites zonder. Dit telt alleen publicatie: het laat niet zien of een AI-assistent het bestand leest.
llms.txt is een van de meest besproken bestanden in AI-zoeken, en een van de minst gemeten. We lazen al de robots.txt van de top 10.000 domeinen, en in dezelfde ronde vroegen we van elk domein /llms.txt op. Dit kwam eruit.
Op deze pagina
Hoe hebben we gecontroleerd?
We namen de top 10.000 domeinen van de Tranco-lijst (lijst-ID JZWZY) en vroegen op 21 november 2026 van elk één keer /llms.txt op, met de eigen user agent van AISeeWhy, nadat we de homepage hadden gelezen en de redirect naar de hoofdhost hadden gevolgd.
Een domein telt als publicerend wanneer /llms.txt zelf antwoordt met een 200, een niet-lege tekstinhoud die geen HTML-pagina is, en geen redirect naar een andere pagina zoals een inlogpagina of de homepage. Het formaat van het bestand hebben we in deze run niet gecontroleerd.
Wat hebben we gevonden?
- 1.240 van de 10.000 domeinen (12,4%) publiceren een
llms.txt. - De lijst bevat CDN's en API-hosts die geen website serveren. Onder de 7.367 domeinen waarvan de homepage met HTML antwoordde, publiceren er 1.233 (16,7%) een.
- Bijna allemaal serveren ze ook een robots.txt: 1.229 van de 1.240.
Publiceren grotere sites vaker?
Ja, met een duidelijk verschil. We deelden de websites (domeinen waarvan de homepage met HTML antwoordde) op naar Tranco-rang:
- Rang 1 tot 1.000: 22,6% publiceert een llms.txt (149 van 658 websites).
- Rang 1.001 tot 3.000: 18,2% (264 van 1.449).
- Rang 3.001 tot 10.000: 15,6% (820 van 5.260).
Wie publiceert er een?
Onder de 6.192 domeinen die een robots.txt serveren, zien de domeinen die een llms.txt publiceren er anders uit dan de rest:
- Ze blokkeren in 11,8% van de gevallen minstens één AI-trainingscrawler, tegenover 26,0% bij domeinen zonder llms.txt.
- Ze blokkeren in 1,4% van de gevallen minstens één AI-zoek- of gebruikerscrawler, tegenover 15,0%.
- Ze gebruiken in 12,9% van de gevallen een
Content-Signal-regel, tegenover 4,9%.
Met andere woorden: de sites die de moeite nemen een llms.txt te publiceren, zijn vooral de sites die AI-crawlers al binnenlaten.
Wat laat dit niet zien?
Het laat een verband zien, geen oorzaak. Een site die AI-zichtbaarheid serieus neemt, publiceert misschien een llms.txt en houdt ook zijn robots.txt open; dat betekent niet dat het bestand het verschil maakte. De telling meet bovendien alleen publicatie. Ze laat niet zien of een AI-assistent het bestand leest, en de grote AI-zoekcrawlers zeggen niet dat ze het gebruiken.
De cijfers beschrijven de regels voor de homepage en het bestand op één adres op één dag, voor de populairste domeinen. Kleinere sites kunnen er anders uitzien.
Moet je er een publiceren?
Het kost weinig en doet geen kwaad: een korte Markdown-samenvatting van je site en een lijst met je nuttigste pagina's. Houd het juist en houd de links werkend. Zie het niet als vervanging voor crawlers binnenlaten: een llms.txt op een site waarvan de firewall de crawler weigert, of waarvan de robots.txt hem verbiedt, helpt niemand.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- llms.txt-checker en -validator
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Veelgestelde vragen
Welk deel van de websites heeft een llms.txt?
Onder de 10.000 populairste domeinen die we controleerden, publiceert 12,4% er een. Onder de domeinen waarvan de homepage met HTML antwoordt is het aandeel 16,7%, en bij de grootste sites ligt het hoger: 22,6% in de top 1.000.
Laten sites met een llms.txt vaker AI-crawlers toe?
In onze data wel: ze blokkeren AI-zoek- en gebruikerscrawlers in 1,4% van de gevallen, tegenover 15,0% bij sites zonder. Dit is een correlatie. Het laat niet zien dat het bestand verandert hoe crawlers een site behandelen.
Helpt een llms.txt om door AI-assistenten geciteerd te worden?
Onze data kan dat niet zeggen. Ze telt welke sites het bestand publiceren, niet of een assistent het gebruikt, en de grote AI-zoekcrawlers zeggen niet dat ze het lezen. Crawlbare pagina's en open toegang zijn belangrijker.
Hoe zie je of een site een echte llms.txt heeft?
Vraag /llms.txt op en controleer dat het op dat adres met een 200 antwoordt, met een tekstinhoud die geen HTML-pagina is. Een redirect naar de homepage of een inlogpagina is geen llms.txt.
Bronnen
- llmstxt.org: Het bestand /llms.txt
- AISeeWhy: Rapport over toegang van AI-crawlers, 2026-11
- Tranco: een onderzoeksgerichte ranglijst van topsites
- Google Search Central: AI-functies en je website
- OpenAI: Overzicht van de crawlers van OpenAI