Comment lire le rapport AI Crawl Control de Cloudflare et voir quels robots d'IA passent
Ouvrez AI Crawl Control dans votre tableau de bord Cloudflare : la liste des robots montre chaque robot d'IA que Cloudflare a vu sur votre domaine, ses requêtes, ses infractions au robots.txt et si son action est Allow ou Block. Pour rester dans la recherche IA tout en refusant l'entraînement, autorisez les robots de recherche et les agents, et bloquez ou interdisez les robots d'entraînement, à cet endroit ou dans les politiques AI Crawler and Agent access. Confirmez ensuite depuis l'extérieur avec curl, car d'autres fonctions de Cloudflare peuvent encore bloquer un robot que vous avez autorisé.
Cloudflare a désormais deux endroits qui décident de ce que reçoivent les robots d'IA : AI Crawl Control, le rapport et tableau de commande robot par robot qui s'appelait auparavant AI Audit, et les politiques AI Crawler and Agent access, valables pour toute la zone, dans les paramètres de sécurité. Les deux sont disponibles avec l'offre Free, les deux ont changé en 2026, et aucun ne vous informe de toutes les autres fonctions qui peuvent encore répondre à un robot par un 403. Ce guide parcourt le rapport colonne par colonne, montre où régler l'autorisation et le blocage, et se termine par un test que vous pouvez lancer depuis votre propre machine.
Sur cette page
- Où se trouve le rapport des robots d'IA dans Cloudflare ?
- Que signifient les colonnes et les mesures du rapport AI Crawl Control ?
- Comment autoriser les robots de recherche IA et bloquer les robots d'entraînement dans Cloudflare ?
- Qu'est-ce qui a changé dans les réglages par défaut de Cloudflare pour les robots d'IA ?
- Pourquoi Cloudflare bloque-t-il encore les robots d'IA après que je les ai autorisés ?
- Comment vérifier depuis l'extérieur quels robots d'IA Cloudflare laisse passer ?
- Comment AISeeWhy vérifie-t-il ce que Cloudflare envoie aux robots d'IA ?
Où se trouve le rapport des robots d'IA dans Cloudflare ?
Dans le tableau de bord, sélectionnez votre compte et votre domaine, puis ouvrez AI Crawl Control. Cloudflare indique qu'il fonctionne sans configuration et qu'il est disponible avec toutes les offres, à condition que le trafic de votre domaine passe par le proxy de Cloudflare. Il comporte quatre parties :
- Overview : une synthèse avec le total des requêtes, l'évolution du volume, le code de statut le plus fréquent, le chemin le plus demandé et les robots à fort volume, ainsi que l'état du robots.txt géré de Cloudflare, et les robots regroupés par exploitant, comme OpenAI, Microsoft, Google, ByteDance, Anthropic et Meta.
- La liste des robots : une ligne par robot d'IA, avec une colonne Action où vous choisissez Allow ou Block. La documentation de Cloudflare appelle cet onglet Crawlers sur une page et Security sur une autre : cherchez le tableau qui a la colonne Action.
- Metrics : les requêtes dans le temps, la répartition des codes de statut, le format du contenu, les chemins les plus demandés et, avec les offres payantes, les visites référentes. Les filtres portent sur la période, le robot, l'exploitant, le nom d'hôte et le chemin, et vous pouvez exporter un CSV.
- Directives : l'état de votre fichier robots.txt et la liste des infractions au robots.txt.
Deux limites liées à l'offre comptent pour lire les chiffres. Avec l'offre Free, AI Crawl Control reconnaît les robots uniquement par leur chaîne user agent : il voit les robots qui s'annoncent, et rien d'autre, et l'onglet Metrics couvre les dernières 24 heures. Les offres payantes ajoutent la détection par l'identifiant de détection de Bot Management, et l'offre Enterprise avec Bot Management permet de choisir la période.
Que signifient les colonnes et les mesures du rapport AI Crawl Control ?
Cloudflare documente les champs comme suit. Les définitions comptent, car plusieurs chiffres comptent plus de choses qu'on ne le pense.
- Crawler et Category : le nom du robot, son exploitant et sa catégorie, par exemple robot d'IA, assistant d'IA ou archiveur.
- Requests : les requêtes autorisées plus les requêtes en échec, avec une courbe de tendance. Les requêtes en échec peuvent venir de n'importe quelle règle ou erreur de réponse, pas seulement d'un blocage par AI Crawl Control : un chiffre élevé pour un robot que vous avez autorisé désigne donc une autre règle ou des erreurs sur votre serveur d'origine.
- Allowed requests : les requêtes qui ont reçu un statut entre 200 et 299. Le volume de données transférées est mesuré à partir des octets envoyés par Cloudflare pour les requêtes autorisées.
- Robots.txt violations : le nombre de fois où le robot a demandé un chemin que votre robots.txt interdit. Cloudflare compare les requêtes passées à vos règles actuelles, si bien qu'une règle ajoutée aujourd'hui peut signaler des requêtes qui étaient autorisées au moment où elles ont été faites.
- Action : Allow, Block ou, pour les comptes inscrits à la bêta pay per crawl, Charge.
- Status code distribution : 2xx, 3xx, 4xx et 5xx. Le groupe 4xx comprend les 403 dus aux blocages et les 402 dus au pay per crawl.
- Referrals et principaux référents, offres payantes seulement : les visites venues de services d'IA, par exemple de chatgpt.com, et les pages sur lesquelles elles sont arrivées.
Lisez le rapport à partir de l'action que vous avez choisie. Un robot réglé sur Allow devrait montrer surtout des requêtes autorisées et des codes 2xx. S'il montre beaucoup de requêtes en échec, ouvrez la répartition des codes de statut filtrée sur ce robot, et consultez Security Analytics pour trouver la règle qui a répondu.
Comment autoriser les robots de recherche IA et bloquer les robots d'entraînement dans Cloudflare ?
Vous pouvez le faire robot par robot ou par comportement. Robot par robot, ouvrez AI Crawl Control et réglez l'Action de chaque ligne. Cloudflare indique qu'un blocage à cet endroit crée ou met à jour une règle personnalisée du WAF sur votre zone, que vous pouvez compléter dans le WAF pour des exceptions de chemin. Avec les offres payantes, vous pouvez choisir si les robots bloqués reçoivent un 403 ou un 402, et définir un corps de réponse en texte brut.
Par comportement, allez dans Security, puis Settings, filtrez sur Bot traffic et ouvrez AI Crawler and Agent access policies. Cloudflare classe le trafic d'IA en trois comportements, et chaque politique s'applique aux bots vérifiés qui ont ce comportement ainsi qu'aux bots non vérifiés correspondants :
- Search : collecter ou indexer du contenu pour pouvoir répondre à des questions plus tard.
- Agent : agir en temps réel pour le compte d'une personne, comme les récupérations depuis un chat et les agents de navigation.
- Training : collecter du contenu pour entraîner ou affiner des modèles, y compris les robots qui servent à la fois à l'entraînement et à la recherche.
Chaque comportement peut être réglé sur Block, Block on pages with ads ou Allow (do not block). Training propose aussi Disallow, qui se contente de demander aux robots via le robots.txt. Avec Bot Preference Sync activé, Cloudflare ajoute en tête de votre robots.txt des règles gérées qui interdisent Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent, ajoute une ligne Content Signals, et bloque aussi les robots d'entraînement à la périphérie du réseau, sauf ceux qui servent à la fois à la recherche et à l'entraînement.
Pour la plupart des sites qui veulent être cités par l'IA, la combinaison sûre est Search et Agent sur Allow et Training sur Disallow, puis des actions Block individuelles dans AI Crawl Control pour les robots d'entraînement seul que vous voulez arrêter à la périphérie.
Qu'est-ce qui a changé dans les réglages par défaut de Cloudflare pour les robots d'IA ?
Le 1er juillet 2025, Cloudflare a annoncé qu'il bloquerait par défaut les robots d'IA, sauf s'ils rémunèrent les créateurs. Le 1er juillet 2026, il a remplacé l'interrupteur unique Block AI bots par les politiques distinctes Search, Agent et Training décrites ci-dessus, pour toutes les offres, Free comprise. La même annonce précisait que les nouveaux domaines ajoutés à partir du 15 septembre 2026 auraient Training et Agent bloqués sur les pages qui affichent des publicités, et Search autorisé.
La documentation actuelle de Cloudflare sur ces politiques, mise à jour le 2 novembre 2026, indique que les nouveaux domaines sont réglés par défaut sur Allow (do not block) pour les trois comportements. Comme les pages de Cloudflare elles-mêmes ont décrit des réglages par défaut différents selon les moments, ne vous fiez à aucune d'elles pour votre zone : ouvrez la page des politiques et lisez ce qui est réglé.
Pourquoi Cloudflare bloque-t-il encore les robots d'IA après que je les ai autorisés ?
L'action Allow d'AI Crawl Control empêche seulement AI Crawl Control de bloquer. D'autres fonctions agissent encore sur la requête. Causes fréquentes :
- Bloquer Training bloque aussi les robots de recherche qui font les deux. La documentation de Cloudflare indique que les actions Training s'appliquent aux robots à usage mixte, et son annonce de juillet 2026 cite Googlebot, Applebot et bingbot parmi les robots que les clients qui bloquent Training bloqueront à partir du 15 septembre 2026. Disallow est le choix le plus étroit, car son blocage à la périphérie épargne les robots à usage mixte.
- Bot Fight Mode est activé. Cloudflare indique qu'on ne peut pas contourner ni ignorer Bot Fight Mode avec des règles personnalisées du WAF ou des Page Rules. S'il soumet un robot à une vérification, désactivez-le ou, si votre offre le permet, utilisez Super Bot Fight Mode, qui accepte des règles d'exception.
- Une ancienne règle personnalisée du WAF bloque les user agents contenant
bot, ou une règle de limitation de débit répond aux rafales par un 429. Elles s'appliquent quelle que soit l'Action choisie dans AI Crawl Control. - La règle de blocage a été modifiée à la main. Si la règle WAF qui sous-tend AI Crawl Control a été changée pour un autre code de réponse, le tableau de bord ne peut plus appliquer votre choix.
- Le robots.txt interdit encore le robot. L'Allow de Cloudflare ne modifie pas votre robots.txt, donc un robot respectueux reste à l'écart de toute façon. Dans notre étude des 1 000 domaines les plus populaires, 98 des 155 sites qui bloquaient un robot d'entraînement dans le robots.txt bloquaient aussi au moins un robot de recherche ou d'utilisateur.
Comment vérifier depuis l'extérieur quels robots d'IA Cloudflare laisse passer ?
Demandez la même page avec le user agent d'un navigateur et avec celui de chaque robot, puis comparez le statut et la taille. Les chaînes d'OpenAI, de Perplexity et de Google ci-dessous sont celles que ces entreprises publient.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Une ligne de robot avec 403, 429 ou 503, ou une taille bien plus petite que celle du navigateur, signifie que quelque chose devant votre serveur d'origine a répondu autrement. Avec l'offre Free, AI Crawl Control détecte les robots par leur user agent : ce test vérifie donc raisonnablement ses blocages. Les règles fondées sur le statut de bot vérifié ou sur les scores de bot peuvent traiter votre requête autrement que celle du vrai robot, car elle part de votre adresse IP et non des plages publiées par l'exploitant. Après le test, cherchez vos propres requêtes dans Security Analytics pour voir quelle règle s'est appliquée.
Comment AISeeWhy vérifie-t-il ce que Cloudflare envoie aux robots d'IA ?
La vérification gratuite d'AISeeWhy demande votre page en tant que 16 robots d'IA et de recherche à côté d'un vrai navigateur, applique votre robots.txt robot par robot et reconnaît les pages de vérification des pare-feu : vous voyez ainsi si le résultat affiché dans le tableau de bord de Cloudflare correspond à ce que les robots reçoivent réellement.
Correctifs pour ce problème
Étapes suivantes
- Testeur et vérificateur robots.txt pour les robots IA
- Vérification d'IP de robot IA
- Voir un exemple de rapport complet
- Surveillance des robots IA
- Formules et tarifs
Robots cités dans cet article
Questions fréquentes
AI Crawl Control de Cloudflare est-il gratuit ?
Oui. Cloudflare indique qu'AI Crawl Control est disponible avec toutes les offres. L'offre Free détecte les robots uniquement par leur user agent et affiche les dernières 24 heures dans Metrics ; les données de visites référentes et les réponses de blocage personnalisées demandent une offre payante.
Qu'est devenu AI Audit de Cloudflare ?
Il a été renommé. La documentation de Cloudflare présente AI Crawl Control comme l'ancien AI Audit, avec le même objectif : voir quels robots d'IA passent et choisir une action pour chacun.
Bloquer un robot dans AI Crawl Control modifie-t-il mon robots.txt ?
Non. Une action Block crée ou met à jour une règle personnalisée du WAF. Le robots.txt ne change que si vous utilisez l'option Disallow pour Training avec Bot Preference Sync, qui ajoute en tête de votre fichier les règles gérées de Cloudflare.
Qu'est-ce qui compte comme une infraction au robots.txt dans Cloudflare ?
Une requête d'un robot d'IA vers un chemin que votre robots.txt interdit. Cloudflare compare les requêtes passées à vos règles actuelles, si bien qu'une nouvelle règle peut signaler d'anciennes requêtes qui étaient autorisées à l'époque.
Qu'est-ce que le pay per crawl ?
Une action Charge qui demande aux robots d'IA de payer à chaque requête, et qui sinon répond par un HTTP 402 avec un prix. Cloudflare la présente comme une bêta fermée, et les blocages du WAF ou de Bot Management passent avant elle.
Sources
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy : rapport sur l'accès des robots d'IA, novembre 2026