Les robots d'OpenAI expliqués : GPTBot, OAI-SearchBot et ChatGPT-User

Publié le

Réponse courte

OpenAI utilise GPTBot pour collecter du contenu pouvant entraîner ses modèles, OAI-SearchBot pour indexer les pages de la recherche ChatGPT, et ChatGPT-User pour les visites demandées par une personne. Bloquer GPTBot n'exclut que de l'entraînement. Bloquer OAI-SearchBot vous retire des réponses de la recherche ChatGPT. Le robots.txt peut ne pas s'appliquer à ChatGPT-User.

Trois user-agents différents d'une même entreprise, chacun avec son propre jeton robots.txt, créent beaucoup de confusion. De nombreux sites ont bloqué GPTBot à son apparition, et certains ont découvert plus tard qu'ils avaient aussi bloqué le robot qui décide si ChatGPT peut les citer, souvent à cause d'une règle de pare-feu trop large. Cet article passe en revue chaque agent d'après la documentation d'OpenAI elle-même.

Sur cette page
  1. Que fait GPTBot ?
  2. Que fait OAI-SearchBot ?
  3. Que fait ChatGPT-User ?
  4. Que se passe-t-il quand je bloque chacun d'eux ?
  5. Quel robots.txt utiliser pour les robots d'OpenAI ?
  6. Comment vérifier que le pare-feu les laisse passer ?

Que fait GPTBot ?

GPTBot explore du contenu pouvant servir à entraîner les modèles de fondation d'IA générative d'OpenAI. La documentation d'OpenAI précise qu'interdire GPTBot indique que le contenu d'un site ne doit pas être utilisé pour entraîner ces modèles.

Son user-agent contient le jeton GPTBot, par exemple Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI note que le numéro de version peut changer : comparez donc le jeton, pas la chaîne complète. OpenAI publie ses plages d'IP sur openai.com/gptbot.json.

L'autoriser ou non est une décision de politique de contenu. Certains éditeurs veulent que leur contenu figure dans les données d'entraînement, d'autres non. Le bloquer n'a aucun effet sur la recherche ChatGPT, qui repose sur un autre robot. Si vous changez d'avis plus tard, il suffit de supprimer la ligne Disallow ; il n'y a rien à déclarer ni à demander.

Que fait OAI-SearchBot ?

OAI-SearchBot est le robot de recherche d'OpenAI. Il fait apparaître les sites dans les fonctions de recherche de ChatGPT. OpenAI affirme sans détour que les sites qui ont exclu OAI-SearchBot ne sont pas affichés dans les réponses de la recherche ChatGPT.

Si vous voulez que ChatGPT cite vos pages, c'est le robot à autoriser, à la fois dans le robots.txt et dans votre pare-feu. Ses plages d'IP sont publiées sur openai.com/searchbot.json, ce qui permet à un pare-feu de vérifier qu'une requête vient bien d'OpenAI.

Que fait ChatGPT-User ?

ChatGPT-User n'est pas un robot d'exploration au sens habituel. Il récupère une page lorsqu'un utilisateur de ChatGPT ou un GPT personnalisé le demande, par exemple quand quelqu'un colle votre URL dans une conversation et demande un résumé. OpenAI indique qu'il n'est pas utilisé pour explorer le web automatiquement.

Deux précisions de la documentation d'OpenAI comptent ici. D'abord, ces actions étant lancées par un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer. Ensuite, ChatGPT-User n'est pas utilisé pour déterminer si un contenu peut apparaître dans la recherche. Pour la recherche, le réglage qui compte est celui d'OAI-SearchBot.

Que se passe-t-il quand je bloque chacun d'eux ?

OpenAI précise aussi que, lorsque GPTBot et OAI-SearchBot sont tous deux autorisés, il peut utiliser les résultats d'une même exploration pour les deux usages afin d'éviter d'explorer deux fois.

Quel robots.txt utiliser pour les robots d'OpenAI ?

Pour la plupart des sites qui veulent apparaître dans les réponses de ChatGPT, autorisez le robot de recherche et décidez séparément pour l'entraînement. Ce fichier autorise la recherche et refuse l'entraînement :

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Retenez un détail de la RFC 9309 : un robot suit le groupe qui le nomme et ignore le groupe *. Dans l'exemple ci-dessus, OAI-SearchBot aurait accès à /admin/, car son propre groupe ne contient aucune ligne Disallow: /admin/. Répétez dans chaque groupe nommé les chemins que vous voulez garder privés. OpenAI indique que les changements pour la recherche peuvent prendre environ 24 heures.

Comment vérifier que le pare-feu les laisse passer ?

Le robots.txt ne fait qu'énoncer votre politique. C'est le pare-feu ou le CDN qui décide de ce que chaque requête reçoit réellement. Demandez une page avec le user-agent de chaque robot et comparez le code de statut et la taille du corps avec une requête de navigateur. Un 403, un 429 ou une page de vérification pour le robot, avec une page normale pour le navigateur, signifie que le pare-feu passe outre votre robots.txt.

AISeeWhy effectue cette comparaison pour les trois agents d'OpenAI à la fois, classe en P1 les blocages d'OAI-SearchBot et de ChatGPT-User parce qu'ils coûtent des citations, et signale un GPTBot bloqué comme un choix de politique de niveau P3, pas comme une erreur.

Questions fréquentes

GPTBot, est-ce la même chose que ChatGPT ?

Non. GPTBot est un robot qui collecte des données d'entraînement. La recherche ChatGPT utilise OAI-SearchBot, et les visites en direct demandées par les utilisateurs viennent de ChatGPT-User.

Puis-je autoriser la recherche ChatGPT tout en refusant l'entraînement ?

Oui. Autorisez OAI-SearchBot et interdisez GPTBot dans le robots.txt. OpenAI documente ces deux réglages comme indépendants.

Dois-je bloquer OpenAI par adresse IP ?

Bloquer par IP empêche le robot de lire votre robots.txt et rend votre politique plus difficile à modifier. Il vaut généralement mieux énoncer la politique dans le robots.txt et se servir des plages d'IP publiées pour vérifier les robots d'OpenAI, pas pour les bloquer.

Pourquoi comparer le jeton et non le user-agent complet ?

OpenAI indique que le numéro de version de ses user-agents peut changer, et que les exemples de chaînes publiés diffèrent d'un robot à l'autre. Les règles qui ciblent GPTBot ou OAI-SearchBot continuent de fonctionner après une mise à jour ; celles qui ciblent la chaîne exacte peuvent cesser de correspondre sans bruit.

Sources

Autres articles