Comment ralentir les robots d'IA sans les bloquer

Publié le

Réponse courte

Limitez le débit au lieu de bloquer. Répondez aux requêtes excédentaires des robots par 429 ou 503 avec un en-tête Retry-After, donnez à chaque robot son propre budget, laissez /robots.txt en dehors de toute limite et servez les robots depuis le cache. Crawl-delay dans robots.txt n'aide que là où l'exploitant le documente : Anthropic et Bing le font, Google dit ne pas le prendre en charge, et OpenAI et Perplexity n'en parlent pas. Gardez les robots de recherche IA autorisés, sinon vous quittez aussi les réponses qu'ils alimentent.

Quand un robot envoie des milliers de requêtes par heure, la solution rapide est Disallow: / ou un blocage au pare-feu. Pour un robot d'entraînement, cela peut être un choix légitime. Pour OAI-SearchBot, Claude-SearchBot ou PerplexityBot, cela retire vos pages des réponses d'IA où vous voulez apparaître. La plupart du temps, on peut réduire la charge sans y renoncer, avec des signaux que les robots comprennent déjà : codes de statut, cache et, chez certains exploitants, Crawl-delay.

Sur cette page
  1. Quel robot cause réellement la charge ?
  2. Crawl-delay fonctionne-t-il pour les robots d'IA ?
  3. Comment les réponses 429 et 503 ralentissent-elles les robots ?
  4. Comment fixer une limite de débit pour les robots d'IA ?
  5. Le cache peut-il réduire la charge des robots ?
  6. Qu'éviter quand on ralentit les robots ?
  7. Comment vérifier que les robots passent toujours ?

Quel robot cause réellement la charge ?

Regardez avant de changer quoi que ce soit. Comptez les requêtes par user agent et par heure dans vos journaux d'accès, et comparez les IP d'origine avec les plages que publie chaque éditeur ; notre guide pour repérer les robots d'IA dans les journaux serveur donne les commandes. Deux constats reviennent souvent :

Classez aussi les robots par rôle. Les robots d'entraînement comme GPTBot et ClaudeBot ne sont pas ceux qui vous rendent citable dans la recherche IA : si l'un d'eux pose problème, l'interdire est une option raisonnable. La suite de ce guide concerne les robots que vous voulez garder.

Crawl-delay fonctionne-t-il pour les robots d'IA ?

Crawl-delay ne fait pas partie de la RFC 9309 : chaque exploitant décide s'il le lit. Voici ce que dit la documentation en novembre 2026 :

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Attention à la logique des groupes. Un robot qui trouve un groupe à son nom ignore complètement le groupe User-agent: * : un groupe ClaudeBot qui ne contient que Crawl-delay ferait donc tomber tous les Disallow que vous avez définis pour les autres. Répétez-les, comme ci-dessus. Bing décrit Crawl-delay comme une exception qu'il lit dans l'un ou l'autre groupe, mais ne le supposez pas pour les autres robots.

Comment les réponses 429 et 503 ralentissent-elles les robots ?

Pour les pics de charge, le code de statut est le signal que les robots sont faits pour respecter. 429 Too Many Requests, défini dans la RFC 6585, signifie que le client a envoyé trop de requêtes en un temps donné, et peut porter un en-tête Retry-After qui indique combien de temps attendre. 503 Service Unavailable indique que le serveur ne peut pas suivre pour le moment.

Google documente ce moyen pour réduire rapidement la vitesse d'exploration de Googlebot : renvoyer 500, 503 ou 429 au lieu de 200 à une partie des requêtes d'exploration. Google précise que cela réduit la vitesse d'exploration pour tout le nom d'hôte, et que Retry-After peut contenir un nombre de secondes ou une date.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Faites court. Google déconseille de le faire plus d'un ou deux jours, car une URL qui renvoie ces codes pendant plusieurs jours peut être retirée de son index. Pour une réduction durable, Google propose plutôt une demande spéciale via la Search Console.

OpenAI, Anthropic et Perplexity ne documentent pas la réaction de leurs robots à 429, 503 ou Retry-After. Ces codes sont le moyen standard de demander moins, mais la vitesse à laquelle chaque robot d'IA ralentit ne se trouve nulle part.

Comment fixer une limite de débit pour les robots d'IA ?

Donnez à chaque robot son propre budget au lieu d'une seule limite pour tout le trafic, et répondez aux requêtes au-delà par 429. Dans nginx, c'est le rôle du module limit_req. Les requêtes à clé vide ne sont pas comptées : un map qui ne renvoie une clé que pour les user agents des robots laisse donc les visiteurs humains tranquilles. Ici, chaque robot dispose de 60 requêtes par minute avec une rafale de 20 :

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

La clé est ici le user agent : quiconque copie le nom d'un robot partage donc son budget. C'est acceptable pour une limite de débit. Pour une règle d'autorisation, vérifiez aussi les plages d'IP publiées par l'éditeur.

Sur Cloudflare, les règles de limitation de débit font le même travail à la périphérie. Le forfait Free donne droit à une règle, comptée par IP sur 10 secondes, et l'expression de la règle peut utiliser le chemin et le champ Verified Bot. Compter par IP reste grossier pour des robots qui répartissent leurs requêtes sur de nombreuses adresses, et les forfaits supérieurs ajoutent d'autres options de comptage. La réponse par défaut est 429, et vous pouvez choisir un autre code 4xx et un contenu personnalisé. AI Crawl Control propose Allow, Block et, en bêta privée, Charge pour chaque robot, mais aucun réglage de débit.

Quel que soit l'outil, laissez /robots.txt en dehors de la limite. La RFC 9309 indique qu'une erreur serveur sur robots.txt oblige le robot à considérer tout le site comme interdit, et Google exclut 429 des codes 4xx qu'il traite comme un fichier absent.

Le cache peut-il réduire la charge des robots ?

Souvent plus qu'une limite de débit. Les robots demandent surtout des pages publiques identiques pour tous les visiteurs : les servir depuis un CDN ou un cache de pages transforme des rendus coûteux en accès bon marché. Vérifiez que votre cache ne garde pas une variante séparée, non mise en cache, pour les user agents des robots.

Les requêtes conditionnelles aident aussi. Google indique que ses robots prennent en charge le cache HTTP avec ETag et If-None-Match, ainsi qu'avec Last-Modified et If-Modified-Since, et utilisent ETag quand les deux sont présents. Les pages sur les robots d'OpenAI, d'Anthropic et de Perplexity ne disent pas si leurs robots envoient des requêtes conditionnelles : ne comptez sur cette économie que pour Google.

Qu'éviter quand on ralentit les robots ?

Comment vérifier que les robots passent toujours ?

On règle facilement une limite de débit trop serrée. La vérification gratuite d'AISeeWhy récupère une page en tant que 16 robots d'IA et de recherche à côté d'un vrai navigateur, applique votre robots.txt robot par robot et reconnaît les pages de vérification des pare-feu : une règle qui répond aux robots autrement qu'aux navigateurs ressort donc. Une requête par robot ne déclenche pas une limite raisonnable, et c'est voulu : lancez-la après avoir modifié vos règles pour confirmer que les requêtes normales passent toujours. La vérification d'IP gratuite vous dit si une IP de vos journaux appartient vraiment à GPTBot ou à un autre robot.

Outils gratuits

Étapes suivantes

Robots cités dans cet article

Questions fréquentes

Google prend-il en charge Crawl-delay ?

Non. La documentation robots.txt de Google range crawl-delay parmi les champs qu'elle ne prend pas en charge. Pour ralentir Googlebot brièvement, renvoyez 503, 500 ou 429 à une partie des requêtes ; pour une réduction plus longue, Google propose une demande spéciale via la Search Console.

ClaudeBot respecte-t-il Crawl-delay ?

Anthropic indique prendre en charge l'extension non standard Crawl-delay. Placez-la dans un groupe ClaudeBot et répétez-y les règles Disallow de votre groupe User-agent: *.

GPTBot et PerplexityBot prennent-ils en charge Crawl-delay ?

Les pages d'OpenAI et de Perplexity sur leurs robots ne mentionnent pas Crawl-delay : son effet n'est donc pas documenté. Utilisez une limite côté serveur qui répond aux requêtes excédentaires par 429.

Une réponse 429 nuit-elle à mon classement ?

Pas sur une courte période. Google documente 429 et 503 comme moyen de réduire temporairement l'exploration, mais prévient que les URL qui les renvoient pendant plusieurs jours peuvent être retirées de son index.

Faut-il bloquer GPTBot pour réduire la charge ?

C'est possible. OpenAI indique que GPTBot explore du contenu qui peut servir à l'entraînement et que chaque réglage robots.txt est indépendant : l'interdire ne vous retire donc pas de la recherche de ChatGPT, qui utilise OAI-SearchBot. Vérifiez d'abord dans vos journaux que la charge vient bien des adresses d'OpenAI.

Sources

Autres articles