Cloudflare bloque-t-il les robots d'IA ? Comment le savoir et y remédier

Publié le 2026-11-12

Réponse courte

Cloudflare et d'autres pare-feu peuvent répondre aux robots d'IA par un 403, un 429 ou une page de vérification « Just a moment... » alors que les navigateurs reçoivent la vraie page, même si le robots.txt autorise le robot. Vérifiez en demandant la page avec le user-agent du robot, puis autorisez les robots de recherche IA dans AI Crawl Control ou avec une règle WAF de contournement.

La protection anti-bots sert à arrêter les scrapers et les abus, et elle le fait bien. Le problème, c'est que les robots de recherche IA sont aussi des bots. Un réglage de sécurité activé il y a des années, une limitation de débit ou une règle trop large contre les user-agents inconnus peut discrètement tenir à l'écart les robots qui vous citent, alors que vos propres visites paraissent tout à fait normales.

Sur cette page

Pourquoi un pare-feu bloquerait-il les robots d'IA ?
Comment distinguer un blocage par le pare-feu d'un blocage par le robots.txt ?
Comment autoriser les robots de recherche IA dans Cloudflare ?
Et le Bot Fight Mode ?
Quels robots laisser passer ?
Comment AISeeWhy détecte les blocages de pare-feu ?

Pourquoi un pare-feu bloquerait-il les robots d'IA ?

Les pare-feu jugent chaque requête. Un robot n'exécute pas les défis JavaScript, ne conserve pas les cookies comme un navigateur et demande souvent beaucoup de pages d'affilée : il peut donc ressembler exactement au trafic que la protection anti-bots est faite pour arrêter. Les causes courantes sont les suivantes :

Les fonctions de protection anti-bots qui soumettent à un défi le trafic correspondant à des schémas de bots connus. Le Bot Fight Mode de Cloudflare, par exemple, impose aux bots des défis coûteux en calcul.
Les règles personnalisées du WAF qui bloquent ou soumettent à un défi les user-agents contenant des mots comme « bot » ou « crawler », ou qui n'autorisent qu'une courte liste de moteurs de recherche.
Les réglages qui bloquent les robots d'IA en tant que catégorie. Cloudflare permet de définir des politiques pour les robots Search, Agent et Training, et un réglage Block s'applique à tous.
La limitation de débit qui répond par un 429 à une série rapide de requêtes d'un robot.
Les blocages par pays ou par ASN qui couvrent, par hasard, les réseaux d'où partent les robots.

Comment distinguer un blocage par le pare-feu d'un blocage par le robots.txt ?

Un blocage par le robots.txt est une demande polie : le robot lit vos règles et ne récupère pas la page. Un blocage par le pare-feu est une réponse : le robot demande la page et reçoit autre chose. On peut observer le second cas directement. Demandez la page deux fois, une fois avec un user-agent de navigateur et une fois avec celui du robot, et comparez.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Signes d'un blocage par le pare-feu : un statut 403, 429 ou 503 pour le robot seulement ; une page intitulée Just a moment... ou Attention Required! | Cloudflare ; un corps qui contient /cdn-cgi/challenge-platform ; ou une réponse 200 beaucoup plus courte que celle du navigateur. N'oubliez pas que votre test part de votre propre IP, pas de la plage d'IP vérifiée du robot : il montre comment le pare-feu traite le user-agent, pas tous les détails de son traitement du vrai robot.

Comment autoriser les robots de recherche IA dans Cloudflare ?

AI Crawl Control de Cloudflare, disponible sur tous les forfaits, liste les robots d'IA qui visitent votre domaine et permet de définir une action pour chacun. Dans le tableau de bord, ouvrez AI Crawl Control, allez dans la liste Crawlers et choisissez Allow ou Block dans la colonne Action pour chaque robot. Cloudflare précise que bloquer à cet endroit crée ou met à jour une règle personnalisée du WAF sur votre zone.

Si c'est une règle personnalisée du WAF, le Super Bot Fight Mode ou la limitation de débit qui bloque le robot, ajoutez une règle personnalisée qui contourne ces fonctions pour les bots vérifiés et pour le jeton du robot :

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Placez cette règle en premier. Notez que se baser sur le user-agent laisse aussi passer quiconque falsifie ce user-agent. Quand c'est possible, préférez le champ des bots vérifiés (cf.client.bot) ou les plages d'IP publiées par l'éditeur.

Et le Bot Fight Mode ?

La documentation de Cloudflare est explicite : le Bot Fight Mode ne peut être ni contourné ni ignoré par des règles personnalisées du WAF ou des Page Rules. S'il est la fonction qui soumet les robots à un défi, une règle de contournement n'y changera rien. Les options sont de désactiver le Bot Fight Mode, ou d'utiliser le Super Bot Fight Mode sur un forfait qui le propose, car il s'appuie sur le Ruleset Engine et accepte les règles de contournement.

Quels robots laisser passer ?

Séparez les robots selon leur rôle. Les robots de recherche et de récupération à la demande décident si les réponses des IA peuvent vous trouver et vous citer. Les robots d'entraînement collectent des données pour les modèles ; les bloquer est un choix légitime qui ne vous retire pas de la recherche IA.

Recherche : OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
Récupération à la demande : ChatGPT-User, Claude-User, Perplexity-User.
Entraînement : GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Les réglages de politique de Cloudflare reprennent la même division en Search, Agent et Training : vous pouvez donc autoriser les deux premiers et décider séparément pour le troisième. Avec un autre pare-feu ou CDN, le principe reste le même : placez le jeton du robot sur liste d'autorisation, en le vérifiant par les plages d'IP publiées par l'éditeur ou par le DNS inverse lorsqu'il est proposé, afin qu'il reçoive la même réponse qu'un navigateur.

Comment AISeeWhy détecte les blocages de pare-feu ?

AISeeWhy demande votre page en tant que 14 robots et un navigateur ordinaire, compare le statut, la taille et les redirections, reconnaît les pages de vérification et nomme le pare-feu ou le CDN qui a répondu. Lorsque le robots.txt autorise un robot mais que le serveur le bloque, le rapport montre le conflit et indique la règle Cloudflare ou l'étape de liste d'autorisation qui le résout.

Questions fréquentes

Cloudflare bloque-t-il les robots d'IA par défaut ?

Cela dépend de votre compte, de votre forfait et des réglages de votre zone, et Cloudflare a fait évoluer ces options avec le temps. Consultez AI Crawl Control et vos réglages anti-bots, et testez avec le user-agent du robot plutôt que de supposer.

Pourquoi mon site fonctionne-t-il dans un navigateur mais pas pour les robots ?

Les pare-feu jugent chaque requête. Un navigateur réussit les défis JavaScript et conserve les cookies ; un robot non, il peut donc recevoir une page de vérification ou un 403 que vous ne voyez jamais.

Est-il sûr d'autoriser les robots d'IA dans le WAF ?

Autoriser un robot nommé présente peu de risque si vous le vérifiez par les plages d'IP de l'éditeur ou par le signal de bot vérifié de Cloudflare. Les règles qui se fient uniquement au user-agent laissent aussi entrer quiconque le copie.

La fonction d'obfuscation des e-mails de Cloudflare affecte-t-elle les robots d'IA ?

Elle remplace les adresses e-mail par un lien que seul un script décode : les robots voient donc un texte de remplacement au lieu de l'adresse. Si vous voulez que votre e-mail de contact soit lisible, désactivez Email Address Obfuscation dans Scrape Shield et affichez l'adresse en texte brut.