Hvor mange nettsteder publiserer en llms.txt? Vi sjekket 10 000 domener
Av de 10 000 mest populære domenene publiserer 12,4 % en llms.txt (1 240), og 16,7 % av dem der startsiden svarer med HTML. Større nettsteder publiserer oftere. Nettsteder som publiserer en, blokkerer AI-søkecrawlere i 1,4 % av tilfellene, mot 15,0 % for nettsteder som ikke gjør det. Dette teller bare publisering: det viser ikke om noen AI-assistent leser filen.
llms.txt er en av de mest omtalte filene innen AI-søk, og en av de minst målte. Vi har allerede lest robots.txt hos de 10 000 øverste domenene, og i samme runde ba vi hvert av dem om /llms.txt. Dette fikk vi tilbake.
På denne siden
Hvordan sjekket vi?
Vi tok de 10 000 øverste domenene på Tranco-listen (liste-ID JZWZY) og ba om /llms.txt én gang fra hvert av dem 21. november 2026, med AISeeWhys egen user agent, etter å ha lest startsiden og fulgt omdirigeringen til hovedverten.
Et domene regnes som å publisere en llms.txt når selve /llms.txt svarer med en 200, en ikke-tom tekstkropp som ikke er en HTML-side, og ingen omdirigering til en annen side, for eksempel en innlogging eller startsiden. Vi sjekket ikke filens format i denne kjøringen.
Hva fant vi?
- 1 240 av de 10 000 domenene (12,4 %) publiserer en
llms.txt. - Listen inneholder CDN-er og API-verter som ikke serverer noe nettsted. Blant de 7 367 domenene der startsiden svarte med HTML, publiserer 1 233 (16,7 %) en.
- Nesten alle serverer også en robots.txt: 1 229 av de 1 240.
Publiserer større nettsteder oftere?
Ja, med god margin. Vi delte nettstedene (domener der startsiden svarte med HTML) etter Tranco-rangering:
- Rangering 1 til 1 000: 22,6 % publiserer en llms.txt (149 av 658 nettsteder).
- Rangering 1 001 til 3 000: 18,2 % (264 av 1 449).
- Rangering 3 001 til 10 000: 15,6 % (820 av 5 260).
Hvem publiserer en?
Blant de 6 192 domenene som serverer en robots.txt, ser de som publiserer en llms.txt annerledes ut enn resten:
- De blokkerer minst én AI-treningscrawler i 11,8 % av tilfellene, mot 26,0 % for domener uten llms.txt.
- De blokkerer minst én AI-søke- eller brukercrawler i 1,4 % av tilfellene, mot 15,0 %.
- De bruker en
Content-Signal-linje i 12,9 % av tilfellene, mot 4,9 %.
Med andre ord er nettstedene som gidder å publisere en llms.txt, for det meste nettsteder som allerede slipper AI-crawlere inn.
Hva viser dette ikke?
Det viser en sammenheng, ikke en årsak. Et nettsted som tar AI-synlighet alvorlig, kan publisere en llms.txt og samtidig holde robots.txt åpen; det betyr ikke at filen utgjorde forskjellen. Tellingen måler også bare publisering. Den viser ikke om noen AI-assistent leser filen, og de store AI-søkecrawlerne sier ikke at de bruker den.
Tallene beskriver reglene for startsiden og filen på én adresse én dag, for de mest populære domenene. Mindre nettsteder kan se annerledes ut.
Bør du publisere en?
Det er billig og harmløst: et kort Markdown-sammendrag av nettstedet ditt og en liste over de mest nyttige sidene dine. Hold det nøyaktig og la lenkene fungere. Ikke se på det som en erstatning for å slippe crawlere inn: en llms.txt på et nettsted der brannmuren avviser crawleren, eller der robots.txt forbyr den, hjelper ingen.
Neste steg
- robots.txt-tester og -sjekk for AI-crawlere
- llms.txt-sjekk og -validator
- Se et eksempel på en full rapport
- Overvåking av AI-crawlere
- Planer og priser
Vanlige spørsmål
Hvor stor andel av nettstedene har en llms.txt?
Blant de 10 000 mest populære domenene vi sjekket, publiserer 12,4 % en. Blant domenene der startsiden svarer med HTML er andelen 16,7 %, og den er høyere for de største nettstedene: 22,6 % i de øverste 1 000.
Slipper nettsteder med en llms.txt inn AI-crawlere oftere?
I dataene våre, ja: de blokkerer AI-søke- og brukercrawlere i 1,4 % av tilfellene mot 15,0 % for nettsteder uten. Dette er en korrelasjon. Det viser ikke at filen endrer hvordan crawlere behandler et nettsted.
Hjelper en llms.txt meg med å bli sitert av AI-assistenter?
Dataene våre kan ikke si det. De teller hvilke nettsteder som publiserer filen, ikke om en assistent bruker den, og de store AI-søkecrawlerne sier ikke at de leser den. Sider som kan crawles og åpen tilgang betyr mer.
Hvordan ser du om et nettsted har en ekte llms.txt?
Be om /llms.txt og sjekk at den svarer med en 200 på den adressen, med en tekstkropp som ikke er en HTML-side. En omdirigering til startsiden eller en innloggingsside er ikke en llms.txt.
Kilder
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers