AISeeWhy
FR
Démarrer l'essai gratuit

ChatGPT voit-il mon site ? Comment le vérifier

Publié le

Réponse courte

ChatGPT ne peut citer votre page que si le robot de recherche d'OpenAI, OAI-SearchBot, a le droit de la récupérer et reçoit le même HTML qu'un navigateur. Vérifiez trois points : votre robots.txt n'interdit pas OAI-SearchBot, votre pare-feu ou CDN ne lui répond pas par un 403 ou une page de vérification, et le texte principal figure dans le HTML initial.

Beaucoup de propriétaires de sites interrogent ChatGPT sur leur propre produit, voient un concurrent cité à la place et se demandent si ChatGPT peut seulement accéder à leur site. La question a une réponse concrète, que l'on peut tester. OpenAI publie les noms de ses robots et le rôle de chacun, ce qui permet de contrôler chaque maillon de la chaîne : les règles du robots.txt, la réponse envoyée par votre serveur et le contenu de cette réponse.

Sur cette page
  1. Quels robots d'OpenAI comptent pour les réponses de ChatGPT ?
  2. Comment vérifier mon robots.txt pour ChatGPT ?
  3. Un pare-feu peut-il bloquer ChatGPT alors que le robots.txt l'autorise ?
  4. Comment tester ce que reçoit OAI-SearchBot ?
  5. Que faire si la page se charge mais que ChatGPT ne dit rien d'utile ?
  6. Comment AISeeWhy vérifie tout cela ?

Quels robots d'OpenAI comptent pour les réponses de ChatGPT ?

OpenAI documente trois agents que les propriétaires de sites croisent le plus souvent. Ils ont des rôles différents, et bloquer l'un ne bloque pas les autres. OpenAI précise que chaque réglage du robots.txt est indépendant.

En résumé : OAI-SearchBot contrôle les citations, GPTBot contrôle l'entraînement, et ChatGPT-User gère les visites en direct à la demande d'un utilisateur.

Comment vérifier mon robots.txt pour ChatGPT ?

Ouvrez https://yourdomain.com/robots.txt dans un navigateur. Cherchez un groupe qui nomme OAI-SearchBot. S'il n'y en a pas, le robot suit le groupe User-agent: *. Un Disallow: / dans le groupe qui s'applique bloque tout le site.

Vérifiez aussi que le fichier répond bien. Selon la RFC 9309, si le robots.txt renvoie une erreur serveur (5xx) ou est inaccessible, un robot doit considérer que tout le site est interdit. Un 404 ne pose pas de problème : il signifie qu'il n'y a aucune règle. Une erreur fréquente est une adresse robots.txt qui renvoie une page HTML avec le statut 200, car les robots n'y trouvent alors aucune règle valide.

Voici une configuration qui conserve la recherche ChatGPT tout en refusant l'entraînement :

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI indique que les changements pour la recherche peuvent prendre environ 24 heures après la mise à jour du robots.txt.

Un pare-feu peut-il bloquer ChatGPT alors que le robots.txt l'autorise ?

Oui, et c'est une cause fréquente. Le robots.txt est une demande adressée aux robots bien élevés, pas un contrôle d'accès. C'est votre pare-feu, votre CDN ou votre protection anti-bots qui décide de ce qui est réellement renvoyé. S'il traite un robot d'IA comme un bot indésirable, celui-ci reçoit un 403, un 429 ou une page de vérification comme l'écran « Just a moment... » de Cloudflare, alors que les personnes qui utilisent un navigateur voient la page normalement.

Vu de l'extérieur, le site semble ouvert à tous. Seule une requête qui s'identifie comme le robot révèle la différence. Dans ce cas, le robots.txt dit oui, le serveur dit non, et c'est le serveur qui l'emporte.

Comment tester ce que reçoit OAI-SearchBot ?

Envoyez deux requêtes vers la même URL, l'une avec le user-agent d'un navigateur et l'autre avec celui du robot, puis comparez le code de statut et la taille. OpenAI publie un exemple de user-agent pour chaque robot ; le numéro de version peut changer.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Si le navigateur reçoit un 200 avec un corps volumineux et que le robot reçoit un 403, un 429, un 503 ou un corps beaucoup plus petit, votre pare-feu traite le robot différemment. Une limite : votre test part de votre propre adresse IP, pas de celles d'OpenAI. Les pare-feu qui vérifient les robots d'après les plages d'IP publiées (OpenAI les liste sur openai.com/searchbot.json) peuvent laisser passer le vrai robot tout en bloquant votre test. Un blocage lors de ce test indique tout de même comment le pare-feu traite ce user-agent, ce qui mérite d'être corrigé.

Que faire si la page se charge mais que ChatGPT ne dit rien d'utile ?

L'accès n'est que la première étape. Si le HTML reçu est une coquille vide que JavaScript remplit plus tard, le robot peut ne recevoir presque aucun texte. Regardez le HTML brut avec curl ou avec l'affichage du code source de votre navigateur : si le texte principal n'y figure pas, le robot ne le voit probablement pas non plus.

Viennent ensuite les signaux de contenu : une réponse courte et claire en haut de la page, des intertitres qui reprennent les questions que se posent les gens, un éditeur et un auteur nommés, et des dates visibles. Ils ne garantissent pas une citation, mais ils rendent la page plus facile à citer correctement.

Comment AISeeWhy vérifie tout cela ?

AISeeWhy récupère votre page en tant que OAI-SearchBot, GPTBot, ChatGPT-User et 11 autres robots, à côté d'un navigateur ordinaire, lit votre robots.txt selon les règles de la RFC 9309 et nomme le pare-feu lorsqu'il répond par un blocage ou une page de vérification. Chaque constat s'accompagne du correctif à coller, et le test gratuit affiche votre score et le premier constat.

Questions fréquentes

Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?

Non. OpenAI traite chaque réglage de robot comme indépendant. GPTBot concerne l'entraînement, tandis que OAI-SearchBot décide si les pages peuvent apparaître dans les réponses de la recherche ChatGPT. Vous pouvez interdire l'un et autoriser l'autre.

ChatGPT-User respecte-t-il le robots.txt ?

OpenAI indique que, ces visites étant lancées par un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer. Si vous voulez les empêcher, une règle robots.txt n'est pas un moyen fiable.

Combien de temps faut-il pour qu'un changement de robots.txt arrive chez ChatGPT ?

OpenAI indique qu'il faut compter environ 24 heures après une mise à jour du robots.txt pour que ses systèmes s'adaptent pour la recherche.

Être accessible suffit-il pour être cité ?

Non. L'accès rend une citation possible, il ne la garantit pas. Ce que dit la page, et la clarté avec laquelle elle le dit, décident encore de son utilisation dans une réponse.

Sources

Autres articles