Générateur de robots.txt pour robots IA
Choisissez quels robots IA peuvent lire votre site et copiez le robots.txt généré. Un choix courant consiste à bloquer les robots d'entraînement de l'IA comme GPTBot et ClaudeBot, mais à autoriser les robots de recherche IA comme OAI-SearchBot et PerplexityBot, pour que vos pages puissent encore apparaître et être citées dans les réponses IA.
Bloquer les agents de récupération demandée par l'utilisateur a un effet limité : certains éditeurs indiquent que ces agents peuvent ne pas suivre robots.txt, parce qu'une personne a demandé la page. Testez le résultat avec le vérificateur robots.txt avant de le publier. Vérificateur robots.txt pour les robots IA →
Comment l'utiliser
Placez le fichier à la racine de votre domaine (https://example.com/robots.txt). Si vous avez déjà des règles pour d'autres robots, gardez-les et ajoutez seulement les groupes IA. Les changements prennent effet la prochaine fois que chaque robot lit le fichier, en général dans la journée.