Qu'est-ce que llms.txt, et vaut-il la peine de l'ajouter ?

Publié le

Réponse courte

llms.txt est un fichier Markdown proposé à l'adresse /llms.txt, qui donne aux outils d'IA un court résumé de votre site et une liste de liens vers ses pages les plus utiles. C'est une proposition de la communauté, pas une norme, et les principaux robots de recherche IA ne disent pas l'utiliser. L'ajouter coûte peu, mais cela ne remplace pas un HTML explorable.

llms.txt attire beaucoup d'attention et est souvent présenté comme le robots.txt de l'IA. C'est autre chose : le robots.txt indique ce que les robots ont le droit de récupérer, tandis que llms.txt est un guide de lecture qui oriente les outils d'IA vers le contenu qui mérite d'être lu. Voici ce que dit la proposition, ce que l'on sait de son usage et comment en écrire un.

Sur cette page
  1. D'où vient llms.txt ?
  2. Que contient un fichier llms.txt ?
  3. Qui lit réellement llms.txt aujourd'hui ?
  4. Faut-il en ajouter un malgré tout ?
  5. Comment écrire un bon llms.txt ?
  6. Comment AISeeWhy traite llms.txt ?

D'où vient llms.txt ?

Jeremy Howard a proposé le fichier /llms.txt en septembre 2024, et la proposition est maintenue sur llmstxt.org. Son but est de normaliser un fichier qui aide les modèles de langage et les agents à utiliser un site web au moment de l'inférence, par exemple quand un assistant de programmation a besoin de la documentation d'une bibliothèque, plutôt que pour l'entraînement.

Cette idée répond à un vrai problème. Les pages web contiennent de la navigation, des scripts, des bannières et de la mise en page. Un court fichier Markdown soigneusement choisi, avec des liens vers des versions épurées des pages clés, est plus facile à exploiter pour un modèle dont la fenêtre de contexte est limitée.

Que contient un fichier llms.txt ?

Le fichier est en Markdown, dans un ordre fixe. Seul le premier élément est obligatoire :

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

La proposition suggère aussi de proposer des versions Markdown des pages à la même URL avec .md ajouté, par exemple page.html.md, afin que les outils puissent récupérer du texte épuré.

Qui lit réellement llms.txt aujourd'hui ?

C'est ici qu'il faut rester prudent. Le site llmstxt.org indique que ces fichiers servent surtout pour la documentation logicielle, où les agents de programmation les suivent. OpenAI, Anthropic, Google et Perplexity ne citent pas llms.txt parmi les signaux utilisés par leurs robots de recherche dans la documentation des robots que nous avons consultée.

Google va plus loin pour ses propres fonctions de Search. Ses recommandations sur les AI Overviews et le mode IA disent qu'il n'est pas nécessaire de créer de nouveaux fichiers lisibles par machine, de fichiers texte pour l'IA ou de balisage pour y apparaître. Pour Google Search, llms.txt n'a aucun rôle annoncé.

La réponse honnête est donc la suivante : certains outils d'IA, surtout des assistants de programmation et des agents pointés vers un site, peuvent le lire. Les robots qui décident si la recherche IA cite votre page travaillent à partir de votre HTML.

Vous pouvez vérifier vous-même si quelque chose lit votre fichier. Cherchez dans les journaux de votre serveur ou de votre CDN les requêtes vers /llms.txt et regardez les user-agents. Si aucune requête n'apparaît en quelques semaines, cela vous renseigne mieux sur son intérêt pour votre site que n'importe quelle affirmation générale.

Faut-il en ajouter un malgré tout ?

Pour la plupart des sites, c'est un ajout peu coûteux et peu certain. Il prend quelques minutes, il ne peut pas nuire à votre visibilité dans la recherche et il peut aider les agents qui le cherchent. Il est surtout utile pour la documentation, les outils pour développeurs et les produits qui comptent beaucoup de matériel de référence.

Ce qu'il ne peut pas faire, c'est régler des problèmes d'accès. Si un pare-feu bloque les robots d'IA, si votre robots.txt les interdit ou si votre contenu n'apparaît qu'après l'exécution de JavaScript, llms.txt ne change rien. Réglez ces points d'abord.

Comment écrire un bon llms.txt ?

Comment AISeeWhy traite llms.txt ?

AISeeWhy vérifie si votre site possède un llms.txt et si la page auditée y figure. Comme les robots d'IA le lisent rarement aujourd'hui, l'absence du fichier est un constat de niveau P3, la priorité la plus basse, et le rapport inclut un brouillon construit à partir du titre, de la description et du sitemap de votre page, que vous pouvez modifier et publier.

Questions fréquentes

llms.txt est-il une norme officielle ?

Non. C'est une proposition de la communauté, publiée sur llmstxt.org. Ce n'est pas une norme de l'IETF ou du W3C, et aucun éditeur d'IA n'est tenu de le lire.

llms.txt bloque-t-il l'entraînement des IA ?

Non. C'est une liste de liens, pas un ensemble d'autorisations. Pour refuser l'entraînement, utilisez les jetons d'entraînement du robots.txt, comme GPTBot, ClaudeBot ou Google-Extended.

Ai-je besoin de llms.txt pour apparaître dans les AI Overviews de Google ?

Non. Google indique qu'il n'est pas nécessaire d'avoir des fichiers texte pour l'IA ou un balisage spécial pour apparaître dans les AI Overviews ou le mode IA. La page doit être indexée et pouvoir afficher un extrait.

llms.txt peut-il se trouver dans un sous-dossier ?

La version actuelle de la proposition autorise un fichier dans un sous-chemin, comme /docs/llms.txt, qui couvre les pages situées sous ce chemin. La plupart des sites n'ont besoin que d'un fichier à la racine.

Sources

Autres articles