Comment vérifier si un site bloque les robots d'IA

Collez n'importe quelle adresse et voyez si elle bloque GPTBot, ClaudeBot, PerplexityBot et les autres robots d'IA : dans le robots.txt, dans le pare-feu, ou les deux.

Gratuit · Sans inscription · Résultat en 30 secondes

Quels robots sont bloqués

Les robots d'entraînement, de recherche et d'utilisateur sont présentés séparément, car bloquer GPTBot ne bloque pas OAI-SearchBot, et bloquer ClaudeBot ne bloque pas Claude-SearchBot.

La ligne qui décide

Pour chaque robot, le robots.txt est lu selon les règles de la RFC 9309 : le groupe qui le nomme, ou à défaut User-agent: *, et la règle qui l'emporte.

Refus du pare-feu

La page est demandée comme 14 robots puis comme un navigateur ordinaire. Les blocages et les pages de vérification sont signalés, et le pare-feu qui a répondu est nommé.

Une solution pour chaque constat

Chaque constat s'accompagne de la modification à faire. Le test gratuit affiche votre score et le premier constat ; le rapport complet coûte $29, une seule fois.

Réponse courte

Un site peut bloquer les robots d'IA à deux endroits : le robots.txt, qui demande aux robots de ne pas venir, et le serveur ou le pare-feu, qui les refuse réellement. Cherchez dans le robots.txt le jeton de chaque robot, à défaut User-agent: *, puis récupérez la page en tant que robot et comparez-la avec ce que reçoit un navigateur. Une extension de navigateur fait la partie robots.txt pour 16 robots d'IA en un clic.

Vérifiez à la main en 3 étapes

  1. Choisissez le robot

    Chaque entreprise d'IA en exploite plusieurs. Entraînement : GPTBot, ClaudeBot. Recherche : OAI-SearchBot, Claude-SearchBot, PerplexityBot. À la demande d'une personne : ChatGPT-User, Claude-User, Perplexity-User.

  2. Lisez le robots.txt pour ce robot

    Ouvrez https://example.com/robots.txt et trouvez le groupe qui nomme le robot. Si aucun groupe ne le nomme, le groupe User-agent: * s'applique ; s'il n'y en a aucun des deux, tout est autorisé.

  3. Récupérez la page en tant que robot

    Demandez la page avec le user-agent du robot et comparez le statut et la taille avec ceux d'un navigateur. Un 403, une page de vérification ou un 200 beaucoup plus léger signifie que le pare-feu le refuse.

Questions fréquentes

Un site sans robots.txt est-il ouvert aux robots d'IA ?

Oui, pour ce qui est du robots.txt. Un 404 sur le robots.txt signifie qu'il n'y a pas de règles, donc chaque robot peut récupérer chaque page. Un pare-feu peut néanmoins bloquer des robots.

L'extension montre-t-elle les blocages du pare-feu ?

Non. Elle lit le robots.txt depuis votre navigateur, ce qui montre ce que le site demande aux robots. Pour voir les blocages du pare-feu et de la protection contre les bots, il faut une requête envoyée en tant que robot, ce que fait la vérification complète sur aiseewhy.com.

Puis-je vérifier un site qui n'est pas le mien ?

Oui. Le robots.txt est public, et l'extension ne lit que les fichiers robots.txt et llms.txt que le site publie, les mêmes que lit chaque robot.

Lire le guide complet

Que vous vérifiiez votre propre site après une modification ou celui de quelqu'un d'autre avant de vous y fier, la question « ce site bloque-t-il les robots d'IA ? » a une réponse précise. Elle dépend du robot dont vous parlez, car les entreprises d'IA utilisent des robots distincts pour l'entraînement, pour la recherche et pour les visites en direct, et un site peut traiter chacun différemment. Ce guide présente trois vérifications, de la plus rapide à la plus complète.

Où un site peut-il bloquer les robots d'IA ?

Il y a trois niveaux, et un robot doit les franchir tous pour utiliser une page.

  • Le robots.txt : un fichier public de règles que les robots respectueux lisent avant de récupérer quoi que ce soit. C'est une demande, pas un verrou.
  • Le serveur, le CDN ou le pare-feu : c'est là que se décide ce qui est réellement renvoyé. Une règle de protection contre les bots peut répondre à un robot par un 403, un 429 ou une page de vérification, même quand le robots.txt l'autorise.
  • La page elle-même : si le texte principal n'apparaît qu'après l'exécution de JavaScript, un robot qui lit le HTML initial reçoit une page presque vide, alors que rien ne l'a bloqué.

La plupart des vérifications rapides ne regardent que le premier niveau. C'est un bon début, à condition de ne pas oublier les deux autres.

Comment lire le robots.txt pour un robot d'IA ?

Ouvrez https://example.com/robots.txt dans un navigateur et repérez le groupe qui s'applique au robot. Un groupe commence par une ou plusieurs lignes User-agent. Le robot utilise le groupe qui nomme son jeton, par exemple GPTBot ; la comparaison ne tient pas compte de la casse. Si aucun groupe ne le nomme, il utilise le groupe User-agent: *. S'il n'y a ni l'un ni l'autre, tout est autorisé.

À l'intérieur du groupe, la règle dont le chemin correspondant est le plus long l'emporte, et quand un Allow et un Disallow ont la même longueur, c'est Allow qui l'emporte. Le fichier ci-dessous bloque donc GPTBot sur tout le site, mais laisse entrer tous les autres robots :

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Regardez aussi comment le fichier répond. Selon la RFC 9309, un 404 signifie qu'il n'y a pas de règles, donc tout est autorisé. Une erreur serveur (5xx) ou une absence de réponse signifie qu'un robot doit considérer tout le site comme interdit. Une adresse robots.txt qui renvoie une page HTML est une erreur courante : les robots n'y trouvent aucune règle valide.

Comment vérifier tous les robots d'IA d'un coup ?

Lire le fichier à la main devient vite fastidieux dès que plus d'un robot vous intéresse. Chaque entreprise d'IA en utilise plusieurs, avec des rôles différents :

  • Les robots d'entraînement collectent du contenu pour entraîner les modèles : GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, ainsi que les jetons Google-Extended et Applebot-Extended, qui n'existent que dans le robots.txt.
  • Les robots de recherche indexent les pages pour que les réponses d'IA puissent les citer : OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Les robots utilisateurs récupèrent une page quand une personne le demande à l'assistant : ChatGPT-User, Claude-User, Perplexity-User.

L'extension gratuite Vérificateur de crawlers IA pour Chrome le fait en un clic. Ouvrez n'importe quelle page et cliquez sur l'icône : elle lit le robots.txt du site et indique, pour chacun des 16 robots, si la page est autorisée et quelle ligne en décide. Elle affiche aussi les préférences Content-Signal, la présence éventuelle d'un llms.txt et les sitemaps listés dans le robots.txt. Elle fonctionne dans votre navigateur, sans compte, et ne lit que le site sur lequel vous la lancez.

Sans Chrome, le vérificateur de robots.txt gratuit d'aiseewhy.com donne la même réponse pour une URL que vous collez.

Comment vérifier si le pare-feu les laisse passer ?

Le robots.txt montre ce que le site demande. Pour voir ce qu'un robot reçoit réellement, demandez la page deux fois, une fois en tant que navigateur et une fois avec le user agent du robot, puis comparez le code de statut et la taille de la réponse :

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Si le navigateur reçoit 200 et le robot 403, 429 ou 503, ou une page bien plus petite, un pare-feu ou une protection contre les bots traite le robot différemment. Une limite vaut pour tout test extérieur : il part de votre réseau, pas de celui de l'entreprise d'IA. Un pare-feu qui fait confiance aux robots d'après leurs adresses IP publiées peut traiter le vrai robot autrement ; ce sont donc vos journaux serveur qui tranchent.

La vérification complète sur aiseewhy.com récupère la page en tant que chacun des 16 robots, à côté d'un vrai navigateur, nomme le pare-feu ou la règle qui bloque un robot et compare le texte que chacun a reçu.

Quel résultat viser ?

Cela dépend de ce que vous voulez. Si vous voulez être cité dans la recherche ChatGPT, dans Claude et dans Perplexity, les robots de recherche et les robots utilisateurs doivent être autorisés dans le robots.txt et recevoir la vraie page du serveur. Si vous ne voulez pas que votre contenu serve à l'entraînement, bloquez uniquement les jetons d'entraînement. Ce sont des choix distincts : bloquer GPTBot ne bloque pas OAI-SearchBot, et bloquer ClaudeBot ne bloque pas Claude-SearchBot.

Beaucoup de sites les confondent. Dans notre rapport de novembre 2026 sur les 1 000 domaines les plus populaires, 63 % des sites qui bloquent un robot d'entraînement bloquent aussi au moins un robot de recherche IA ou un robot utilisateur, ce qui écarte leurs pages de ces réponses d'IA.

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Sources

Autres articles

Publié le