Comment lire le rapport AI Crawl Control de Cloudflare et voir quels robots d'IA passent

Publié le

Réponse courte

Ouvrez AI Crawl Control dans votre tableau de bord Cloudflare : la liste des robots montre chaque robot d'IA que Cloudflare a vu sur votre domaine, ses requêtes, ses infractions au robots.txt et si son action est Allow ou Block. Pour rester dans la recherche IA tout en refusant l'entraînement, autorisez les robots de recherche et les agents, et bloquez ou interdisez les robots d'entraînement, à cet endroit ou dans les politiques AI Crawler and Agent access. Confirmez ensuite depuis l'extérieur avec curl, car d'autres fonctions de Cloudflare peuvent encore bloquer un robot que vous avez autorisé.

Cloudflare a désormais deux endroits qui décident de ce que reçoivent les robots d'IA : AI Crawl Control, le rapport et tableau de commande robot par robot qui s'appelait auparavant AI Audit, et les politiques AI Crawler and Agent access, valables pour toute la zone, dans les paramètres de sécurité. Les deux sont disponibles avec l'offre Free, les deux ont changé en 2026, et aucun ne vous informe de toutes les autres fonctions qui peuvent encore répondre à un robot par un 403. Ce guide parcourt le rapport colonne par colonne, montre où régler l'autorisation et le blocage, et se termine par un test que vous pouvez lancer depuis votre propre machine.

Sur cette page
  1. Où se trouve le rapport des robots d'IA dans Cloudflare ?
  2. Que signifient les colonnes et les mesures du rapport AI Crawl Control ?
  3. Comment autoriser les robots de recherche IA et bloquer les robots d'entraînement dans Cloudflare ?
  4. Qu'est-ce qui a changé dans les réglages par défaut de Cloudflare pour les robots d'IA ?
  5. Pourquoi Cloudflare bloque-t-il encore les robots d'IA après que je les ai autorisés ?
  6. Comment vérifier depuis l'extérieur quels robots d'IA Cloudflare laisse passer ?
  7. Comment AISeeWhy vérifie-t-il ce que Cloudflare envoie aux robots d'IA ?

Où se trouve le rapport des robots d'IA dans Cloudflare ?

Dans le tableau de bord, sélectionnez votre compte et votre domaine, puis ouvrez AI Crawl Control. Cloudflare indique qu'il fonctionne sans configuration et qu'il est disponible avec toutes les offres, à condition que le trafic de votre domaine passe par le proxy de Cloudflare. Il comporte quatre parties :

Deux limites liées à l'offre comptent pour lire les chiffres. Avec l'offre Free, AI Crawl Control reconnaît les robots uniquement par leur chaîne user agent : il voit les robots qui s'annoncent, et rien d'autre, et l'onglet Metrics couvre les dernières 24 heures. Les offres payantes ajoutent la détection par l'identifiant de détection de Bot Management, et l'offre Enterprise avec Bot Management permet de choisir la période.

Que signifient les colonnes et les mesures du rapport AI Crawl Control ?

Cloudflare documente les champs comme suit. Les définitions comptent, car plusieurs chiffres comptent plus de choses qu'on ne le pense.

Lisez le rapport à partir de l'action que vous avez choisie. Un robot réglé sur Allow devrait montrer surtout des requêtes autorisées et des codes 2xx. S'il montre beaucoup de requêtes en échec, ouvrez la répartition des codes de statut filtrée sur ce robot, et consultez Security Analytics pour trouver la règle qui a répondu.

Comment autoriser les robots de recherche IA et bloquer les robots d'entraînement dans Cloudflare ?

Vous pouvez le faire robot par robot ou par comportement. Robot par robot, ouvrez AI Crawl Control et réglez l'Action de chaque ligne. Cloudflare indique qu'un blocage à cet endroit crée ou met à jour une règle personnalisée du WAF sur votre zone, que vous pouvez compléter dans le WAF pour des exceptions de chemin. Avec les offres payantes, vous pouvez choisir si les robots bloqués reçoivent un 403 ou un 402, et définir un corps de réponse en texte brut.

Par comportement, allez dans Security, puis Settings, filtrez sur Bot traffic et ouvrez AI Crawler and Agent access policies. Cloudflare classe le trafic d'IA en trois comportements, et chaque politique s'applique aux bots vérifiés qui ont ce comportement ainsi qu'aux bots non vérifiés correspondants :

Chaque comportement peut être réglé sur Block, Block on pages with ads ou Allow (do not block). Training propose aussi Disallow, qui se contente de demander aux robots via le robots.txt. Avec Bot Preference Sync activé, Cloudflare ajoute en tête de votre robots.txt des règles gérées qui interdisent Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent, ajoute une ligne Content Signals, et bloque aussi les robots d'entraînement à la périphérie du réseau, sauf ceux qui servent à la fois à la recherche et à l'entraînement.

Pour la plupart des sites qui veulent être cités par l'IA, la combinaison sûre est Search et Agent sur Allow et Training sur Disallow, puis des actions Block individuelles dans AI Crawl Control pour les robots d'entraînement seul que vous voulez arrêter à la périphérie.

Qu'est-ce qui a changé dans les réglages par défaut de Cloudflare pour les robots d'IA ?

Le 1er juillet 2025, Cloudflare a annoncé qu'il bloquerait par défaut les robots d'IA, sauf s'ils rémunèrent les créateurs. Le 1er juillet 2026, il a remplacé l'interrupteur unique Block AI bots par les politiques distinctes Search, Agent et Training décrites ci-dessus, pour toutes les offres, Free comprise. La même annonce précisait que les nouveaux domaines ajoutés à partir du 15 septembre 2026 auraient Training et Agent bloqués sur les pages qui affichent des publicités, et Search autorisé.

La documentation actuelle de Cloudflare sur ces politiques, mise à jour le 2 novembre 2026, indique que les nouveaux domaines sont réglés par défaut sur Allow (do not block) pour les trois comportements. Comme les pages de Cloudflare elles-mêmes ont décrit des réglages par défaut différents selon les moments, ne vous fiez à aucune d'elles pour votre zone : ouvrez la page des politiques et lisez ce qui est réglé.

Pourquoi Cloudflare bloque-t-il encore les robots d'IA après que je les ai autorisés ?

L'action Allow d'AI Crawl Control empêche seulement AI Crawl Control de bloquer. D'autres fonctions agissent encore sur la requête. Causes fréquentes :

Comment vérifier depuis l'extérieur quels robots d'IA Cloudflare laisse passer ?

Demandez la même page avec le user agent d'un navigateur et avec celui de chaque robot, puis comparez le statut et la taille. Les chaînes d'OpenAI, de Perplexity et de Google ci-dessous sont celles que ces entreprises publient.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Une ligne de robot avec 403, 429 ou 503, ou une taille bien plus petite que celle du navigateur, signifie que quelque chose devant votre serveur d'origine a répondu autrement. Avec l'offre Free, AI Crawl Control détecte les robots par leur user agent : ce test vérifie donc raisonnablement ses blocages. Les règles fondées sur le statut de bot vérifié ou sur les scores de bot peuvent traiter votre requête autrement que celle du vrai robot, car elle part de votre adresse IP et non des plages publiées par l'exploitant. Après le test, cherchez vos propres requêtes dans Security Analytics pour voir quelle règle s'est appliquée.

Comment AISeeWhy vérifie-t-il ce que Cloudflare envoie aux robots d'IA ?

La vérification gratuite d'AISeeWhy demande votre page en tant que 16 robots d'IA et de recherche à côté d'un vrai navigateur, applique votre robots.txt robot par robot et reconnaît les pages de vérification des pare-feu : vous voyez ainsi si le résultat affiché dans le tableau de bord de Cloudflare correspond à ce que les robots reçoivent réellement.

Correctifs pour ce problème

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

AI Crawl Control de Cloudflare est-il gratuit ?

Oui. Cloudflare indique qu'AI Crawl Control est disponible avec toutes les offres. L'offre Free détecte les robots uniquement par leur user agent et affiche les dernières 24 heures dans Metrics ; les données de visites référentes et les réponses de blocage personnalisées demandent une offre payante.

Qu'est devenu AI Audit de Cloudflare ?

Il a été renommé. La documentation de Cloudflare présente AI Crawl Control comme l'ancien AI Audit, avec le même objectif : voir quels robots d'IA passent et choisir une action pour chacun.

Bloquer un robot dans AI Crawl Control modifie-t-il mon robots.txt ?

Non. Une action Block crée ou met à jour une règle personnalisée du WAF. Le robots.txt ne change que si vous utilisez l'option Disallow pour Training avec Bot Preference Sync, qui ajoute en tête de votre fichier les règles gérées de Cloudflare.

Qu'est-ce qui compte comme une infraction au robots.txt dans Cloudflare ?

Une requête d'un robot d'IA vers un chemin que votre robots.txt interdit. Cloudflare compare les requêtes passées à vos règles actuelles, si bien qu'une nouvelle règle peut signaler d'anciennes requêtes qui étaient autorisées à l'époque.

Qu'est-ce que le pay per crawl ?

Une action Charge qui demande aux robots d'IA de payer à chaque requête, et qui sinon répond par un HTTP 402 avec un prix. Cloudflare la présente comme une bêta fermée, et les blocages du WAF ou de Bot Management passent avant elle.

Sources

Autres articles