Qu'est-ce que Content-Signal dans robots.txt, et quelqu'un le respecte-t-il ?
Content-Signal est une ligne facultative de robots.txt, publiée par Cloudflare, qui indique comment votre contenu peut être utilisé une fois récupéré : search pour les résultats de recherche, ai-input pour alimenter des réponses d'IA et ai-train pour entraîner des modèles, chacun réglé sur yes ou no, comme dans Content-Signal: search=yes, ai-input=yes, ai-train=no. Elle exprime une préférence et ne bloque rien. En novembre 2026, aucune des pages sur les robots d'OpenAI, d'Anthropic, de Google ou de Perplexity ne dit la lire, et les grandes entreprises d'IA ont plutôt soutenu un autre jeton, limité à l'entraînement.
robots.txt a été conçu pour dire où un robot peut aller, pas ce qu'on peut faire de ce qu'il lit. Dès qu'une même récupération a pu alimenter un index de recherche, une réponse d'IA en direct et un jeu d'entraînement, ce manque est devenu important. Cloudflare a publié la Content Signals Policy le 24 septembre 2025 sous licence CC0 pour le combler, en précisant que ses clients avaient déjà activé le robots.txt géré pour plus de 3,8 millions de domaines, une fonction qui ajoute désormais la ligne pour eux.
Sur cette page
- Que signifient search, ai-input et ai-train ?
- Comment écrire une ligne Content-Signal dans robots.txt ?
- Que dit le texte de la politique placé au-dessus de la ligne ?
- Content-Signal figure-t-il déjà dans mon robots.txt ?
- Les robots d'IA respectent-ils Content-Signal ?
- Faut-il ajouter Content-Signal à mon robots.txt ?
- Comment vérifier ce que mon robots.txt dit à chaque robot ?
Que signifient search, ai-input et ai-train ?
La politique définit trois signaux. Les formulations ci-dessous suivent contentsignals.org et le texte de la politique publié par Cloudflare :
search: construire un index de recherche et fournir des résultats de recherche, par exemple renvoyer des liens et de courts extraits de vos pages. La définition précise que la recherche n'inclut pas les résumés de recherche générés par IA.ai-input: fournir du contenu à un ou plusieurs modèles d'IA, par exemple pour la génération augmentée par récupération (RAG), l'ancrage ou toute autre utilisation en temps réel du contenu pour des réponses de recherche générées par IA.ai-train: entraîner ou affiner des modèles d'IA.
Chaque signal prend yes ou no. Selon les termes de la politique, yes signifie que le contenu peut être collecté pour cet usage, no qu'il ne le peut pas, et un signal omis n'accorde ni ne restreint cet usage. Le réglage par défaut de Cloudflare fixe search et ai-train et laisse ai-input non défini, car Cloudflare dit ne pas connaître la préférence de chaque client pour ce signal et ne pas vouloir la deviner.
La distinction entre search et ai-input est celle que la plupart des gens manquent. Si vous voulez que vos pages servent dans les réponses d'IA, search=yes seul ne le dit pas. ai-input=yes, si.
Comment écrire une ligne Content-Signal dans robots.txt ?
Content-Signal se place dans un groupe user agent, à côté de Allow et Disallow, avec les signaux séparés par des virgules. contentsignals.org montre aussi une forme qui commence par un chemin, pour qu'une section d'un site porte des signaux différents du reste :
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow et Disallow fonctionnent exactement comme avant, et Content-Signal ne les remplace pas. La RFC 9309 permet aux robots d'interpréter des enregistrements qui ne font pas partie du protocole, tant que cela n'interfère pas avec les règles définies : un analyseur qui ne connaît pas la ligne doit donc l'ignorer.
Deux détails sont bons à savoir. D'abord, la ligne appartient à un groupe. Selon la RFC 9309, un robot qui a un groupe à son nom ignore entièrement le groupe User-agent: *, et les pages Content Signals ne décrivent aucune exception pour cette ligne. Si vous donnez à Googlebot ou OAI-SearchBot leur propre groupe, répétez-y la ligne Content-Signal, comme le fait contentsignals.org dans son exemple par robot. Ensuite, Google Search Console peut signaler Syntax not understood pour cette ligne. La documentation de Cloudflare le mentionne et dit n'avoir observé aucun effet sur l'exploration ni sur le SEO. La documentation robots.txt de Google ne liste que user-agent, allow, disallow et sitemap comme champs pris en charge.
Que dit le texte de la politique placé au-dessus de la ligne ?
La Content Signals Policy est plus qu'une ligne. Le générateur de Cloudflare sur contentsignals.org et son robots.txt géré placent tous deux un bloc de commentaires au-dessus des signaux. Il commence par dire qu'en accédant au site, vous acceptez, comme condition de cet accès, de respecter les signaux de contenu, puis définit les trois signaux et les cas yes, no et absent.
Il se termine par une phrase en majuscules selon laquelle toute restriction exprimée par les signaux de contenu constitue une réserve expresse de droits au sens de l'article 4 de la directive (UE) 2019/790 sur le droit d'auteur dans le marché unique numérique. L'annonce de Cloudflare ajoute que les signaux peuvent avoir une portée juridique dans diverses juridictions.
contentsignals.org avertit lui-même que les tribunaux et les autorités de régulation pourraient conclure que les fichiers robots.txt n'imposent pas d'obligations juridiques contraignantes, et conseille de consulter un avocat. Considérez le bloc de commentaires comme une déclaration écrite de votre position, pas comme un contrat.
Content-Signal figure-t-il déjà dans mon robots.txt ?
Si votre site passe par Cloudflare, c'est possible, de deux façons :
- Le robots.txt géré. Quand Bot Preference Sync est activé et qu'au moins une politique AI Crawler and Agent access est réglée sur Block, Block on pages with ads ou, pour Training, Disallow, Cloudflare ajoute un bloc géré en tête du robots.txt envoyé par votre serveur. Il contient le texte de la politique,
Content-signal: search=yes, ai-train=no, use=referencesousUser-Agent: *, etDisallow: /pourAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotetmeta-externalagent. - Aucun robots.txt. Cloudflare indique que les domaines du forfait Free qui n'ont pas leur propre robots.txt et n'utilisent pas la fonction gérée affichent la Content Signals Policy quand un robot demande
/robots.txt. Cette version contient les définitions mais n'exprime aucune préférence.
La partie use=reference est récente. Cloudflare présente use comme un quatrième champ facultatif en test, avec trois valeurs : immediate (interagir, mais ne rien stocker ni réutiliser), reference (indexer, citer un extrait et renvoyer un lien) et full (résumer et reproduire). Il ne fait pas partie des trois signaux d'origine, et aucune des documentations de robots que nous avons consultées ne le mentionne.
Comme Cloudflare ajoute ces lignes à la périphérie, le fichier de votre dépôt peut sembler inchangé alors que celui que reçoivent les robots est différent. Récupérez le https://yourdomain.com/robots.txt en ligne avant d'ajouter votre propre ligne, pour que la réponse n'exprime pas deux politiques différentes.
L'adoption reste faible parmi les grands sites. Dans notre étude de novembre 2026 sur les 1 000 domaines les plus populaires, 18 des 518 sites qui servaient un robots.txt (3,5 %) utilisaient Content-Signal.
Les robots d'IA respectent-ils Content-Signal ?
Pas d'après la documentation que nous avons pu trouver. Le 17 novembre 2026, nous avons consulté les pages sur les robots d'OpenAI, d'Anthropic, de Google et de Perplexity, et aucune ne mentionne Content-Signal. Cloudflare elle-même décrit les signaux comme des préférences, pas comme des contre-mesures techniques contre le scraping, et reconnaît que certaines entreprises pourraient tout simplement les ignorer.
Ce que les entreprises d'IA ont documenté à la place, c'est un mécanisme distinct fondé sur les travaux du groupe de travail AI Preferences de l'IETF : un jeton de politique, __usage_ai-training, écrit comme un groupe User-Agent ordinaire. Il ne couvre que l'entraînement, et l'Internet-Draft qui le définit précise qu'un groupe User-Agent: * ne vaut pas utilisation du jeton :
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ La prise en charge est inégale et en partie encore à venir. Anthropic indique reconnaître un signal général d'entraînement lisible par machine depuis le 30 octobre 2026, le déployer progressivement, et qu'une règle nommant ClaudeBot a priorité sur lui. Microsoft documente le jeton __usage_ai-training pour Bing, ses nouvelles préférences prenant effet au fil de l'exploration des pages à partir du 1er février 2027. Google dit viser la prise en charge de ce contrôle commun en 2027 et prévoit de traiter un refus de l'entraînement exprimé ainsi comme un disallow de Google-Extended lorsque ce jeton n'est pas nommé. OpenAI a publié le même jour une annonce indiquant qu'elle respectera le signal commun, sans date.
ai-train=no et __usage_ai-training disent donc à peu près la même chose, mais seul le second bénéficie d'une prise en charge documentée par les entreprises d'IA. Les jetons propres à chaque robot, comme GPTBot et ClaudeBot, restent les contrôles que chaque éditeur applique aujourd'hui.
Faut-il ajouter Content-Signal à mon robots.txt ?
Ajoutez-le si vous voulez que votre politique d'usage soit écrite à un seul endroit, lisible par les machines comme par les humains. Il exprime aussi une préférence ai-input pour tous les robots en une seule ligne, ce que les jetons des éditeurs ne peuvent exprimer que robot par robot. Il coûte une ligne, et les analyseurs qui ne le connaissent pas l'ignorent.
Ne comptez pas sur lui seul. Pour tenir votre contenu à l'écart de l'entraînement, interdisez aussi les jetons d'entraînement documentés et envisagez le jeton d'entraînement commun ; notre guide pour bloquer l'entraînement des IA tout en restant dans la recherche IA liste les jetons par éditeur. Pour tout ce qui ignore robots.txt, seule une règle de pare-feu impose un blocage.
Enfin, vérifiez que la ligne concorde avec le reste du fichier. ai-input=no à côté d'un groupe Allow pour OAI-SearchBot ou PerplexityBot envoie des messages contradictoires : vous laissez entrer les robots de recherche IA tout en disant que leurs réponses ne peuvent pas utiliser ce qu'ils récupèrent.
Comment vérifier ce que mon robots.txt dit à chaque robot ?
Le vérificateur robots.txt gratuit d'AISeeWhy prend l'adresse d'une page ou un robots.txt collé et indique, pour chaque robot d'IA et de recherche, si cette page peut être récupérée : vous pouvez ainsi confirmer que le fichier en ligne, y compris ce que Cloudflare a ajouté en tête, dit bien ce que vous vouliez. Le générateur de robots.txt gratuit écrit un fichier selon vos choix.
Étapes suivantes
- Testeur et vérificateur robots.txt pour les robots IA
- Voir un exemple de rapport complet
- Surveillance des robots IA
- Formules et tarifs
Robots cités dans cet article
Questions fréquentes
Content-Signal fait-il partie de la norme robots.txt ?
Non. La RFC 9309 définit User-agent, Allow et Disallow et permet aux robots d'interpréter d'autres enregistrements. Content-Signal vient de la Content Signals Policy de Cloudflare, publiée sous licence CC0. Par ailleurs, le groupe de travail AI Preferences de l'IETF rédige sa propre règle Content-Usage pour robots.txt, qui n'est encore qu'un Internet-Draft, pas une norme.
ai-train=no arrête-t-il GPTBot ou ClaudeBot ?
Pas d'après la documentation des éditeurs. OpenAI et Anthropic décrivent un contrôle par des règles robots.txt qui nomment GPTBot et ClaudeBot, et aucune des deux pages sur leurs robots ne mentionne Content-Signal. Pour refuser l'entraînement chez l'un ou l'autre, interdisez le jeton par son nom.
Quelle différence entre Content-Signal et __usage_ai-training ?
Content-Signal est une ligne à l'intérieur d'un groupe et couvre la recherche, l'entrée dans l'IA et l'entraînement. __usage_ai-training est un jeton de politique utilisé comme groupe User-Agent à part entière et ne couvre que l'entraînement. Anthropic, Microsoft, Google et OpenAI ont publié des déclarations sur le signal d'entraînement commun ; aucun ne documente Content-Signal.
Pourquoi Google Search Console affiche-t-il Syntax not understood ?
La documentation robots.txt de Google ne prend en charge que user-agent, allow, disallow et sitemap : les autres lignes peuvent donc être signalées. Cloudflare dit n'avoir observé aucun effet de ces signalements sur le rythme d'exploration ni sur le SEO.
Que signifie use=reference ?
C'est un quatrième champ que Cloudflare teste. reference signifie indexer, citer un extrait et renvoyer un lien. Cloudflare l'ajoute aux fichiers robots.txt gérés, et aucune documentation de robot que nous avons consultée ne le mentionne.
Sources
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy : rapport sur l'accès des robots d'IA, novembre 2026