Combien de sites publient un llms.txt ? Nous avons vérifié 10 000 domaines
Parmi les 10 000 domaines les plus populaires, 12,4 % publient un llms.txt (1 240), et 16,7 % de ceux dont la page d'accueil répond en HTML. Les grands sites en publient plus souvent. Les sites qui en publient un bloquent les crawlers de recherche IA dans 1,4 % des cas, contre 15,0 % pour ceux qui n'en publient pas. Ce chiffre ne mesure que la publication : il ne montre pas si un assistant IA lit le fichier.
llms.txt est l'un des fichiers les plus discutés de la recherche IA, et l'un des moins mesurés. Nous avions déjà lu le robots.txt des 10 000 premiers domaines, et dans la même passe nous avons demandé /llms.txt à chacun. Voici ce qui est revenu.
Sur cette page
Comment avons-nous vérifié ?
Nous avons pris les 10 000 premiers domaines de la liste Tranco (identifiant de liste JZWZY) et demandé une fois /llms.txt à chacun le 21 novembre 2026, avec le user agent propre à AISeeWhy, après avoir lu la page d'accueil et suivi sa redirection vers l'hôte principal.
Un domaine compte comme publiant un llms.txt lorsque /llms.txt répond lui-même par un 200, avec un corps texte non vide qui n'est pas une page HTML, et sans redirection vers une autre page comme une page de connexion ou l'accueil. Nous n'avons pas vérifié le format du fichier lors de cette passe.
Qu'avons-nous constaté ?
- 1 240 des 10 000 domaines (12,4 %) publient un
llms.txt. - La liste inclut des CDN et des hôtes d'API qui ne servent aucun site web. Parmi les 7 367 domaines dont la page d'accueil répondait en HTML, 1 233 (16,7 %) en publient un.
- Presque tous servent aussi un robots.txt : 1 229 sur 1 240.
Les grands sites en publient-ils davantage ?
Oui, avec un écart net. Nous avons découpé les sites web (domaines dont la page d'accueil répondait en HTML) par rang Tranco :
- Rangs 1 à 1 000 : 22,6 % publient un llms.txt (149 sites sur 658).
- Rangs 1 001 à 3 000 : 18,2 % (264 sur 1 449).
- Rangs 3 001 à 10 000 : 15,6 % (820 sur 5 260).
Qui en publie un ?
Parmi les 6 192 domaines qui servent un robots.txt, ceux qui publient un llms.txt se distinguent des autres :
- Ils bloquent au moins un crawler d'entraînement IA dans 11,8 % des cas, contre 26,0 % pour les domaines sans llms.txt.
- Ils bloquent au moins un crawler de recherche ou d'utilisateur IA dans 1,4 % des cas, contre 15,0 %.
- Ils utilisent une ligne
Content-Signaldans 12,9 % des cas, contre 4,9 %.
Autrement dit, les sites qui prennent la peine de publier un llms.txt sont en majorité ceux qui laissent déjà entrer les crawlers IA.
Que ne montre pas cette étude ?
Elle montre un lien, pas une cause. Un site qui prend la visibilité IA au sérieux peut publier un llms.txt et garder aussi son robots.txt ouvert ; cela ne veut pas dire que le fichier a fait la différence. Le décompte ne mesure en outre que la publication. Il ne montre pas si un assistant IA lit le fichier, et les principaux crawlers de recherche IA ne disent pas l'utiliser.
Les chiffres décrivent les règles de la page d'accueil et le fichier à une seule adresse, un seul jour, pour les domaines les plus populaires. Les sites plus petits peuvent être différents.
Faut-il en publier un ?
C'est peu coûteux et sans danger : un court résumé en Markdown de votre site et une liste de vos pages les plus utiles. Gardez-le exact et gardez ses liens fonctionnels. Ne le prenez pas pour un substitut à l'ouverture aux crawlers : un llms.txt sur un site dont le pare-feu refuse le crawler, ou dont le robots.txt l'interdit, n'aide personne.
Étapes suivantes
- Testeur et vérificateur robots.txt pour les robots IA
- Vérificateur et validateur llms.txt
- Voir un exemple de rapport complet
- Surveillance des robots IA
- Formules et tarifs
Questions fréquentes
Quelle part des sites web a un llms.txt ?
Parmi les 10 000 domaines les plus populaires que nous avons vérifiés, 12,4 % en publient un. Parmi les domaines dont la page d'accueil répond en HTML, la part est de 16,7 %, et elle est plus élevée pour les plus grands sites : 22,6 % dans le top 1 000.
Les sites avec un llms.txt autorisent-ils plus souvent les crawlers IA ?
Dans nos données, oui : ils bloquent les crawlers de recherche et d'utilisateur IA dans 1,4 % des cas, contre 15,0 % pour les sites sans llms.txt. C'est une corrélation. Elle ne montre pas que le fichier change la façon dont les crawlers traitent un site.
Un llms.txt m'aide-t-il à être cité par les assistants IA ?
Nos données ne permettent pas de le dire. Elles comptent les sites qui publient le fichier, pas si un assistant l'utilise, et les principaux crawlers de recherche IA ne déclarent pas le lire. Des pages explorables et un accès ouvert comptent davantage.
Comment savoir si un site a un vrai llms.txt ?
Demandez /llms.txt et vérifiez qu'il répond par un 200 à cette adresse, avec un corps texte qui n'est pas une page HTML. Une redirection vers l'accueil ou vers une page de connexion n'est pas un llms.txt.
Sources
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers