AISeeWhy
FR
Démarrer l'essai gratuit

Les robots d'Anthropic : ClaudeBot, Claude-SearchBot et Claude-User

Publié le

Réponse courte

Anthropic exploite trois agents : ClaudeBot collecte du contenu pouvant servir à entraîner ses modèles, Claude-SearchBot explore pour améliorer les résultats de recherche de Claude, et Claude-User récupère des pages quand la question d'un utilisateur de Claude l'exige. Chacun a son propre jeton robots.txt, et Anthropic affirme que les trois respectent le robots.txt. Bloquer ClaudeBot seul n'arrête ni la recherche ni les récupérations à la demande.

Anthropic documente ses robots sur une seule page d'aide, et la structure reprend celle des autres éditeurs d'IA : un agent pour l'entraînement, un pour la recherche et un pour les récupérations en direct au nom d'un utilisateur. Si vous voulez que Claude puisse trouver et citer vos pages, les deux derniers comptent le plus.

Sur cette page
  1. Que fait ClaudeBot ?
  2. Que fait Claude-SearchBot ?
  3. Que fait Claude-User ?
  4. Comment écrire des règles robots.txt pour Claude ?
  5. Comment l'organisation d'Anthropic se compare à celle d'OpenAI et de Perplexity ?
  6. Faut-il bloquer Anthropic par adresse IP ?
  7. Pourquoi Claude pourrait-il quand même ne pas lire ma page ?

Que fait ClaudeBot ?

ClaudeBot collecte du contenu web pouvant contribuer à l'entraînement des modèles d'IA générative d'Anthropic. Selon Anthropic, l'interdire signale que le contenu futur de votre site doit être exclu des jeux de données d'entraînement.

Anthropic dit aussi respecter un signal lisible par machine de refus de l'entraînement des IA, fondé sur un brouillon de l'IETF, et que les règles qui nomment ClaudeBot dans le robots.txt priment sur ce réglage général. Comme pour les autres robots d'entraînement, le bloquer est un choix de politique.

Que fait Claude-SearchBot ?

Claude-SearchBot explore le web pour améliorer la pertinence et l'exactitude des résultats de recherche dans Claude. Anthropic indique que le bloquer empêche l'indexation de votre contenu pour la recherche, ce qui peut réduire votre visibilité et l'exactitude des résultats de recherche des utilisateurs.

C'est l'agent à autoriser si vous voulez que les fonctions de recherche de Claude connaissent vos pages avant que quiconque pose une question à leur sujet. Comme c'est un robot de recherche, il profite des mêmes choses que n'importe quel robot de recherche : un sitemap indiqué dans le robots.txt, des liens internes propres et des pages qui renvoient leur contenu dès la première réponse.

Que fait Claude-User ?

Claude-User accède à un site web lorsqu'un utilisateur de Claude pose une question qui l'exige, par exemple quand quelqu'un partage une URL ou demande à Claude de chercher quelque chose. Anthropic indique que le bloquer empêche la récupération en réponse aux requêtes des utilisateurs, ce qui peut réduire votre visibilité dans la recherche web dirigée par l'utilisateur.

Notez une différence avec certains autres éditeurs. Anthropic affirme que ses bots respectent les directives du robots.txt, et décrit le blocage de Claude-User par ce fichier. OpenAI et Perplexity, à l'inverse, disent que leurs agents de récupération à la demande peuvent ne pas suivre le robots.txt.

Comment écrire des règles robots.txt pour Claude ?

Chaque agent a son propre jeton, et un groupe qui nomme un robot remplace le groupe * pour ce robot selon la RFC 9309. Un choix courant consiste à autoriser la recherche et les récupérations à la demande, et à refuser l'entraînement :

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic prend aussi en charge Crawl-delay comme extension non standard, par exemple Crawl-delay: 1 sous User-agent: ClaudeBot, si vous voulez ralentir l'exploration plutôt que la bloquer. Les règles doivent se trouver dans le robots.txt à la racine de chaque hôte : ajoutez-les donc à chaque sous-domaine que vous voulez couvrir.

Comment l'organisation d'Anthropic se compare à celle d'OpenAI et de Perplexity ?

Les trois éditeurs suivent le même schéma sous des noms différents, ce qui permet de raisonner facilement sur un robots.txt commun. La principale différence est la façon dont chacun traite le robots.txt pour les récupérations en direct à la demande d'un utilisateur.

Si vous écrivez un seul robots.txt pour les trois, mettez les jetons de recherche et de récupération à la demande dans un groupe, et les jetons d'entraînement dans un autre. La politique reste lisible et le choix fait pour chaque usage saute aux yeux.

Faut-il bloquer Anthropic par adresse IP ?

Anthropic le déconseille. Sa documentation dit que bloquer des adresses IP peut ne pas fonctionner correctement ni garantir durablement un refus, car cela empêche aussi le robot de lire votre robots.txt. Utilisez le robots.txt pour énoncer votre politique.

Anthropic publie bien les adresses IP de ses robots sur claude.com/crawling/bots.json. La bonne façon d'utiliser cette liste est l'inverse du blocage : laissez votre pare-feu vérifier qu'une requête qui se présente comme Claude-SearchBot ou Claude-User vient réellement d'Anthropic, et laissez-la passer.

Pourquoi Claude pourrait-il quand même ne pas lire ma page ?

Même avec un robots.txt permissif, votre pare-feu ou CDN peut répondre aux agents d'Anthropic par un 403 ou une page de vérification. Anthropic indique que ses bots respectent les technologies anti-contournement et n'essaieront pas de contourner les CAPTCHA : une page de vérification met donc simplement fin à la visite. Les pages dont le texte n'apparaît qu'après l'exécution de JavaScript peuvent aussi arriver presque vides.

AISeeWhy demande votre page en tant que ClaudeBot, Claude-SearchBot et Claude-User à côté d'un navigateur et vérifie vos règles robots.txt pour chacun, afin que vous voyiez si la politique que vous avez écrite est bien celle que votre serveur applique.

Questions fréquentes

Bloquer ClaudeBot retire-t-il mon site des réponses de Claude ?

Pas à lui seul. L'indexation pour la recherche et les récupérations demandées par l'utilisateur passent par Claude-SearchBot et Claude-User, qui ont leurs propres jetons robots.txt.

Claude-User respecte-t-il le robots.txt ?

Anthropic dit que ses bots respectent le robots.txt et décrit le blocage de Claude-User à cet endroit, avec pour effet que Claude ne peut pas récupérer vos pages pour répondre aux questions des utilisateurs.

Les robots d'Anthropic résolvent-ils les CAPTCHA ?

Non. Anthropic dit que ses bots respectent les technologies anti-contournement et ne tenteront pas de contourner les CAPTCHA.

Puis-je ralentir ClaudeBot au lieu de le bloquer ?

Oui. Anthropic prend en charge Crawl-delay comme extension non standard, par exemple Crawl-delay: 1 dans le groupe ClaudeBot de votre robots.txt.

Comment vérifier qu'une requête vient bien d'Anthropic ?

Comparez l'IP source avec la liste qu'Anthropic publie sur claude.com/crawling/bots.json. N'importe qui peut copier un user-agent.

Sources

Autres articles