Comment bloquer l'entraînement des IA tout en restant dans leurs réponses de recherche

Q: Bloquer GPTBot me retirera-t-il des réponses de ChatGPT ?

Non. OpenAI indique que GPTBot sert à l'entraînement et que chaque réglage du robots.txt est indépendant. La recherche ChatGPT utilise OAI-SearchBot ; tant qu'il est autorisé et que votre pare-feu ne le bloque pas, vos pages restent éligibles.

Q: Bloquer Google-Extended me retire-t-il des AI Overviews ?

Pas selon la documentation de Google. Google indique que Google-Extended n'affecte pas l'inclusion dans la Recherche Google et que les AI Overviews s'appuient sur l'index de la Recherche. Google propose un contrôle distinct dans la Search Console pour exclure un site des AI Overviews et de l'AI Mode.

Q: Existe-t-il une ligne unique qui bloque tout entraînement d'IA ?

Non, aucune ligne standard. Content-Signal: ai-train=no exprime la préférence pour tous les robots, mais le fait qu'un robot la respecte dépend de son exploitant. Des groupes nommés pour chaque jeton d'entraînement sont la méthode documentée.

Publié le 2026-11-12

Réponse courte

La plupart des éditeurs d'IA utilisent des jetons robots.txt distincts pour l'entraînement des modèles et pour la recherche. Interdisez les jetons d'entraînement, comme GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent et CCBot, et autorisez les jetons de recherche et d'utilisateur, comme OAI-SearchBot, Claude-SearchBot et PerplexityBot. Ajoutez une ligne Content-Signal pour exprimer la même préférence en toutes lettres.

Beaucoup de propriétaires de sites veulent deux choses à la fois : ils ne veulent pas que leur contenu serve à entraîner des modèles d'IA, mais ils veulent que les assistants d'IA trouvent, citent et lient leurs pages. Comme les grands éditeurs répartissent désormais ces tâches entre des robots ou des jetons différents, le robots.txt peut exprimer les deux choix. Le piège, c'est que les noms diffèrent d'un éditeur à l'autre, que quelques éditeurs sortent du schéma, et qu'une seule ligne erronée peut vous retirer des réponses de l'IA au lieu des données d'entraînement.

Sur cette page

Quelle différence entre un robot d'entraînement et un robot de recherche ?
Quels jetons contrôlent l'entraînement et lesquels la recherche ?
À quoi ressemble le robots.txt ?
Combien de sites le font déjà ?
Qu'apporte Content-Signal ?
Où la séparation ne fonctionne-t-elle pas proprement ?
Comment vérifier que la séparation fonctionne ?

Quelle différence entre un robot d'entraînement et un robot de recherche ?

Un robot d'entraînement collecte des pages susceptibles de servir à construire ou à améliorer des modèles d'IA. L'entraînement seul ne produit ni citation ni lien. Un robot de recherche construit un index qu'un assistant d'IA utilise pour trouver des sources en vue d'une réponse, et ce sont ces sources qu'il peut citer. Un agent de récupération déclenché par l'utilisateur ouvre une page en direct parce que quelqu'un l'a demandée.

Les éditeurs documentent ces rôles séparément et indiquent que les réglages sont indépendants. OpenAI, par exemple, précise que chaque réglage robots.txt de ses robots est indépendant des autres. Un refus d'entraînement, bien fait, laisse donc votre visibilité dans la recherche intacte.

Quels jetons contrôlent l'entraînement et lesquels la recherche ?

Voici les jetons documentés par les éditeurs, regroupés selon ce qu'ils contrôlent :

OpenAI : GPTBot explore du contenu pouvant servir à entraîner ses modèles de fondation. OAI-SearchBot sert à la recherche ChatGPT et ChatGPT-User aux actions des utilisateurs ; OpenAI indique que le robots.txt peut ne pas s'y appliquer.
Anthropic : ClaudeBot collecte du contenu pouvant contribuer à l'entraînement. Claude-SearchBot améliore les résultats de recherche de Claude et Claude-User récupère des pages pour les utilisateurs. Anthropic indique que ses bots respectent le robots.txt.
Google : Google-Extended est un jeton robots.txt sans robot propre. Il contrôle l'utilisation pour l'entraînement des futurs modèles Gemini et pour l'ancrage (grounding) dans Gemini Apps et Vertex AI. Google indique qu'il n'affecte ni l'inclusion ni le classement dans la Recherche Google, qui se contrôlent via Googlebot.
Apple : Applebot-Extended n'explore pas ; il contrôle si le contenu exploré par Applebot est utilisé pour entraîner les modèles de fondation d'Apple. Apple indique que les pages qui l'interdisent peuvent tout de même apparaître dans ses résultats de recherche.
Meta : meta-externalagent explore notamment pour entraîner des modèles de fondation, tandis que meta-webindexer améliore les résultats de recherche de Meta AI.
Common Crawl : CCBot construit l'archive web publique de Common Crawl. Le robots.txt géré de Cloudflare le range parmi les robots d'entraînement d'IA qu'il interdit.
Perplexity : PerplexityBot et Perplexity-User servent la recherche et les demandes des utilisateurs. Perplexity indique qu'aucun des deux n'est utilisé pour collecter des données d'entraînement : il n'existe donc pas de jeton d'entraînement de Perplexity à bloquer.

À quoi ressemble le robots.txt ?

Plusieurs lignes User-agent consécutives forment un seul groupe selon la RFC 9309 : les règles s'appliquent donc à chacune d'elles. Ce fichier refuse les jetons d'entraînement ci-dessus, autorise les agents de recherche et d'utilisateur, et garde un chemin privé fermé pour tous :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Deux détails comptent. D'abord, un groupe nommé n'hérite pas de * : les chemins privés doivent donc être répétés dans le groupe de recherche. Ensuite, n'ajoutez pas Googlebot ou Applebot au groupe d'entraînement : ce sont les robots de recherche, et les bloquer vous retire de la Recherche Google et des fonctions de recherche d'Apple. Les changements ne sont pas instantanés : OpenAI indique environ 24 heures pour la recherche, et Perplexity jusqu'à 24 heures.

Combien de sites le font déjà ?

Moins qu'on ne pourrait le croire. Nous avons lu les fichiers robots.txt des 1 000 domaines les plus populaires de la liste Tranco le 12/11/2026. Sur les 518 qui servaient un robots.txt, 155 (29,9 %) interdisent la page d'accueil à au moins un robot d'entraînement d'IA. Seuls 57 (11,0 %) choisissent la voie sélective : ils bloquent les robots d'entraînement et autorisent tous les robots de recherche et d'utilisateur d'IA que nous avons testés. Au total, 101 sites (19,5 %) bloquent au moins un robot de recherche ou d'utilisateur d'IA.

Les chiffres robot par robot montrent la même répartition. GPTBot est bloqué sur 111 sites (21,4 %) et OAI-SearchBot sur 58 (11,2 %). ClaudeBot est bloqué sur 110 (21,2 %) et Claude-SearchBot sur 67 (12,9 %). Google-Extended est bloqué sur 94 (18,1 %), Googlebot sur 14 (2,7 %). Seuls 18 sites (3,5 %) utilisent Content-Signal.

L'étude ne porte que sur les règles robots.txt visant la page d'accueil. Elle ne mesure pas les blocages par pare-feu et n'indique pas ce que chaque site avait l'intention de faire.

Qu'apporte Content-Signal ?

Content Signals est une extension du robots.txt publiée par Cloudflare sur contentsignals.org. Une ligne Content-Signal indique comment le contenu peut être utilisé, avec trois signaux : search (construire un index de recherche et afficher des liens et de courts extraits), ai-input (fournir le contenu à des modèles d'IA en temps réel, par exemple pour l'ancrage ou la récupération au service de réponses génératives) et ai-train (entraîner ou affiner des modèles).

Notez que la définition de search exclut les résumés de recherche générés par l'IA. Si vous voulez apparaître dans les réponses de l'IA, indiquez aussi ai-input=yes, comme dans l'exemple ci-dessus. Le robots.txt géré de Cloudflare ajoute par défaut search=yes, ai-train=no ; un signal que vous omettez n'accorde ni ne restreint cet usage.

Ce sont des préférences déclarées. Le site de Content Signals indique qu'elles n'empêchent pas l'exploration sur le plan technique, et Cloudflare rappelle que le respect du robots.txt est volontaire. Aucune des pages consacrées aux robots d'OpenAI, d'Anthropic, de Google ou de Perplexity que nous avons consultées ne dit si ces robots lisent Content-Signal : considérez-le donc comme un complément aux groupes propres à chaque robot, pas comme un remplacement.

Où la séparation ne fonctionne-t-elle pas proprement ?

Quelques cas demandent de l'attention :

Les AI Overviews et l'AI Mode de Google s'appuient sur l'index de la Recherche que construit Googlebot : Google-Extended ne vous en retire donc pas. L'aide de la Search Console de Google ajoute que Google-Extended limite l'entraînement des modèles derrière les fonctions d'IA générative de la Recherche, un périmètre que la documentation de son robot ne mentionne pas. Google propose désormais un réglage distinct dans la Search Console pour exclure un site des AI Overviews et de l'AI Mode.
OpenAI indique que si un site autorise à la fois GPTBot et OAI-SearchBot, il peut utiliser les résultats d'une même exploration pour les deux usages. Interdire GPTBot est ce qui signale que le contenu ne doit pas servir à l'entraînement.
Les refus valent pour l'avenir. Anthropic décrit par exemple l'interdiction de ClaudeBot comme l'exclusion des contenus futurs de votre site des jeux de données d'entraînement.
Les agents de récupération déclenchés par l'utilisateur sont un cas intermédiaire. OpenAI et Perplexity indiquent que le robots.txt peut ne pas s'appliquer à ChatGPT-User et ne s'applique en général pas à Perplexity-User.
Les pare-feu ne lisent pas le robots.txt. Une règle de blocage des bots trop large peut arrêter les robots de recherche que vous avez autorisés. Si vous appliquez le blocage de l'entraînement au niveau du pare-feu, ciblez les agents d'entraînement par leur nom et vérifiez-les grâce à leurs plages d'IP publiées.

Comment vérifier que la séparation fonctionne ?

Lisez votre robots.txt comme le ferait chaque robot : trouvez le groupe qui le nomme, ne retombez sur * que s'il n'y en a pas, et appliquez la règle correspondante la plus longue. Demandez ensuite une page avec le user-agent de chaque robot de recherche et vérifiez qu'il reçoit un 200 avec le contenu complet, pas un 403 ni une page de vérification.

AISeeWhy fait les deux pour 14 robots, regroupés en agents d'entraînement, de recherche et d'utilisateur, et signale l'erreur la plus courante : bloquer un jeton de recherche comme PerplexityBot ou Claude-SearchBot en pensant bloquer l'entraînement.

Questions fréquentes

Bloquer GPTBot me retirera-t-il des réponses de ChatGPT ?

Non. OpenAI indique que GPTBot sert à l'entraînement et que chaque réglage du robots.txt est indépendant. La recherche ChatGPT utilise OAI-SearchBot ; tant qu'il est autorisé et que votre pare-feu ne le bloque pas, vos pages restent éligibles.

Bloquer Google-Extended me retire-t-il des AI Overviews ?

Pas selon la documentation de Google. Google indique que Google-Extended n'affecte pas l'inclusion dans la Recherche Google et que les AI Overviews s'appuient sur l'index de la Recherche. Google propose un contrôle distinct dans la Search Console pour exclure un site des AI Overviews et de l'AI Mode.

Existe-t-il une ligne unique qui bloque tout entraînement d'IA ?

Non, aucune ligne standard. Content-Signal: ai-train=no exprime la préférence pour tous les robots, mais le fait qu'un robot la respecte dépend de son exploitant. Des groupes nommés pour chaque jeton d'entraînement sont la méthode documentée.

Dois-je bloquer Perplexity pour arrêter l'entraînement des IA ?

Perplexity indique que ses agents ne servent pas à collecter des données d'entraînement. Bloquer PerplexityBot réduit votre visibilité dans les résultats de recherche de Perplexity sans constituer un refus d'entraînement.