Pourquoi mon site bloque-t-il soudain les robots d'IA ?

Publié le

Réponse courte

Un site qui se met à bloquer les robots d'IA a presque toujours changé à l'un de cinq endroits : le robots.txt réellement servi, un réglage du CDN comme les politiques de Cloudflare pour les robots d'IA, une protection anti-bots ou une limite de débit, un réglage par défaut de l'hébergeur, ou un robots.txt qui répond désormais par une erreur. Récupérez le robots.txt d'aujourd'hui et une page en tant que chaque robot, comparez avec un navigateur et avec ce que vous aviez avant, et vérifiez ces couches dans cet ordre.

Personne ne décide de disparaître des réponses d'IA. Cela arrive comme effet secondaire d'une mise à jour de thème, d'un réglage de sécurité, d'une migration ou d'un changement de réglage par défaut chez un fournisseur. Un navigateur voit toujours le site normalement, si bien que le changement peut passer inaperçu jusqu'à ce que quelqu'un interroge ChatGPT ou Perplexity sur le produit et obtienne un concurrent. Chaque couche laisse des traces que vous pouvez vérifier de l'extérieur ou dans vos journaux.

Sur cette page
  1. Le robots.txt que reçoivent les robots a-t-il changé ?
  2. Les politiques 2026 de Cloudflare pour les robots d'IA ont-elles changé ce que mon site autorise ?
  3. Une protection anti-bots ou une limite de débit arrête-t-elle les robots ?
  4. Mon hébergeur a-t-il changé ses réglages par défaut ?
  5. robots.txt répond-il par une erreur ?
  6. Comment savoir quand cela a commencé ?
  7. Comment le repérer plus tôt la prochaine fois ?

Le robots.txt que reçoivent les robots a-t-il changé ?

Récupérez https://yourdomain.com/robots.txt et comparez-le au fichier de votre dépôt ou de votre sauvegarde. Regardez le fichier servi, pas celui sur le disque, car plusieurs couches peuvent le modifier en route :

Le rapport robots.txt de Google Search Console montre les versions que Google a récupérées au cours des 30 derniers jours, avec une nouvelle entrée à chaque changement du fichier ou du résultat de la récupération. Il ne couvre que ce que Google a vu, mais à moins que votre serveur ne varie le robots.txt selon le user agent, les robots d'IA ont reçu le même fichier.

Les politiques 2026 de Cloudflare pour les robots d'IA ont-elles changé ce que mon site autorise ?

Cloudflare a modifié plusieurs fois ses contrôles des robots d'IA, et certains changements modifient le comportement d'une zone sans que personne ne la touche. Le 1er juillet 2025, Cloudflare a commencé à demander aux nouveaux domaines, à l'inscription, s'ils voulaient autoriser les robots d'IA, avec le blocage comme état de départ. Le 1er juillet 2026, il a remplacé l'interrupteur unique Block AI bots par des politiques distinctes Search, Agent et Training, pour tous les forfaits, Free compris.

Le détail qui piège la plupart des sites, ce sont les robots à double usage. La documentation de Cloudflare indique que les actions Training s'appliquent aussi aux robots qui servent à la fois à la recherche et à l'entraînement. Son annonce de juillet 2026 précisait qu'à partir du 15 septembre 2026, les robots polyvalents comme Googlebot, Applebot et BingBot seraient bloqués pour les clients ayant choisi de bloquer Training, que ce soit via les nouvelles options ou l'ancien réglage Block AI bots. Un refus de l'entraînement réglé il y a un an peut donc désormais toucher des robots de recherche.

Les réglages par défaut des nouveaux domaines ont été décrits différemment au fil du temps. La même annonce indiquait que les nouveaux domaines auraient Training et Agent bloqués sur les pages affichant des publicités à partir du 15 septembre 2026, alors que la documentation des politiques mise à jour le 2 novembre 2026 indique que les nouveaux domaines démarrent avec les trois sur Allow. Ouvrez Security, puis Settings, filtrez sur Bot traffic et lisez AI Crawler and Agent access policies pour votre propre zone. Notre guide sur AI Crawl Control de Cloudflare explique chaque réglage.

Une protection anti-bots ou une limite de débit arrête-t-elle les robots ?

La protection anti-bots juge chaque requête, et les robots d'exploration récupèrent beaucoup de pages rapidement depuis des centres de données, ce qui est exactement le comportement d'un bot. Un robot qui passait le mois dernier peut se mettre à recevoir des pages de vérification après que son exploitant a changé de plages d'IP ou de rythme d'exploration, ou après une mise à jour des règles de protection. Le Bot Fight Mode de Cloudflare est une cause fréquente, et Cloudflare indique qu'il ne peut pas être contourné ni ignoré par des règles personnalisées du WAF ou des Page Rules : une règle d'autorisation ajoutée plus tard n'aidera pas tant qu'il est actif. Une nouvelle limite de débit qui répond aux rafales par 429 a le même effet sur un robot très actif.

Testez de l'extérieur : demandez une page en tant que navigateur et en tant que deux robots de recherche IA, puis demandez robots.txt en tant que robot.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Un 403, 429 ou 503 pour un robot seulement, une page intitulée Just a moment... ou un contenu bien plus léger que celui du navigateur signifie que le robot est traité différemment. Le test part de votre IP, pas de celle de l'éditeur : des règles fondées sur le statut de bot vérifié peuvent donc encore traiter le vrai robot autrement. Le journal des événements du pare-feu montre quelle règle a répondu.

Mon hébergeur a-t-il changé ses réglages par défaut ?

Certains hébergeurs filtrent le trafic IA au niveau du serveur, avant vos propres règles. SiteGround, par exemple, a écrit en août 2025 qu'il bloque par défaut les robots d'IA conçus pour collecter des données d'entraînement et qu'il autorise ceux qui visitent une page quand une personne interroge un assistant IA à son sujet. Ce type de règle n'apparaît pas dans votre robots.txt et peut changer quand l'hébergeur met à jour ses listes de bots.

Si un blocage apparaît en même temps sur plusieurs sites chez le même hébergeur, ou dans des réponses qui n'atteignent jamais les journaux de votre application, demandez à l'hébergeur quelles règles de bots s'appliquent à votre compte et si vous pouvez exempter les robots que vous voulez garder.

robots.txt répond-il par une erreur ?

Un robots.txt en échec peut bloquer davantage que n'importe quelle ligne Disallow. Selon la RFC 9309, une réponse 4xx signifie qu'un robot peut tout récupérer, mais une erreur serveur (5xx) ou une absence totale de réponse signifie qu'il doit considérer tout le site comme interdit. Google arrête d'explorer pendant les 12 premières heures de ces erreurs, puis utilise sa dernière copie valide pendant 30 jours au plus.

C'est ainsi qu'un pic de charge, une règle de pare-feu qui soumet /robots.txt à une vérification ou une limite de débit qui l'inclut peut exclure des robots bien élevés sans qu'une seule règle change. La dernière commande du test ci-dessus doit renvoyer 200 et text/plain. Un 5xx, un délai dépassé ou une page de vérification à cet endroit est la première chose à corriger.

Comment savoir quand cela a commencé ?

Une date transforme un mystère en comparaison. Dans vos journaux d'accès, filtrez les requêtes des user agents de robots d'IA et cherchez le jour où leurs codes de statut sont passés de 200 à 403, 429 ou 503, ou le jour où ils ont cessé de demander des pages après avoir lu robots.txt ; notre guide pour repérer les robots d'IA dans les journaux serveur donne les commandes. Les requêtes bloquées par votre CDN n'atteignent jamais l'origine : vérifiez donc aussi le CDN. Sur Cloudflare, AI Crawl Control montre la répartition des codes de statut dans le temps, filtrable par robot.

Rapprochez ensuite cette date des déploiements, des mises à jour d'extensions et de thèmes, des changements de réglages du CDN et des annonces des fournisseurs. Avant d'agir, vérifiez que les IP d'origine appartiennent bien à l'éditeur, pour être sûr d'observer le vrai robot et non un imposteur qui emprunte son nom.

Comment le repérer plus tôt la prochaine fois ?

Vérifiez l'accès après chaque déploiement, changement de CDN et mise à jour d'extension, pas seulement quand le trafic baisse. La vérification gratuite d'AISeeWhy récupère une page en tant que 16 robots d'IA et de recherche à côté d'un vrai navigateur, applique votre robots.txt robot par robot et reconnaît les pages de vérification des pare-feu. Le vérificateur robots.txt gratuit montre, pour chaque robot, si une page peut être récupérée selon le fichier en ligne aujourd'hui.

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

Pourquoi ChatGPT a-t-il cessé d'afficher mon site ?

Souvent parce que OAI-SearchBot, le robot derrière la recherche de ChatGPT, s'est retrouvé bloqué par une modification du robots.txt, une politique du CDN ou une protection anti-bots. OpenAI indique que les sites qui le bloquent n'apparaîtront pas dans les réponses de recherche de ChatGPT. Vérifiez chaque couche pour ce robot, et comptez environ 24 heures après une correction du robots.txt, le délai qu'OpenAI annonce pour que ses systèmes s'ajustent.

Cloudflare s'est-il mis à bloquer Googlebot sur mon site ?

C'est possible. Cloudflare a annoncé qu'à partir du 15 septembre 2026, les clients qui bloquent Training bloquent aussi les robots polyvalents comme Googlebot, Applebot et BingBot. Sa documentation indique que l'option Training Disallow bloque les robots d'entraînement à la périphérie mais épargne les robots à usage mixte : vérifiez quelle option votre zone utilise.

Un créateur de site ou une extension peut-il modifier robots.txt à ma place ?

Oui. Les créateurs de sites et les extensions SEO ou de sécurité peuvent écrire des règles pour les robots d'IA dans robots.txt, et certains allongent leurs listes de bots avec le temps. Après chaque mise à jour, récupérez le fichier en ligne et lisez les groupes qui s'appliquent aux robots de recherche qui vous importent.

Pourquoi mon robots.txt en ligne diffère-t-il du fichier sur mon serveur ?

Quelque chose placé devant votre serveur le modifie. Le robots.txt géré de Cloudflare, par exemple, ajoute ses propres règles et signaux de contenu en tête de votre fichier dans la même réponse. Un CMS qui génère robots.txt à la demande, ou un réglage au niveau de l'hébergeur, peut aussi le remplacer ou le compléter.

Combien de temps avant que les robots d'IA reviennent après la correction ?

La RFC 9309 indique que les robots ne doivent pas utiliser un robots.txt en cache plus de 24 heures ; OpenAI parle d'environ 24 heures et Perplexity de 24 heures au plus. Les changements de pare-feu s'appliquent dès que votre fournisseur les déploie, mais les robots reviennent à leur propre rythme.

Sources

Autres articles