ClaudeBot
ClaudeBot est le robot d'Anthropic pour le contenu web pouvant servir à entraîner ses modèles d'IA générative. L'interdire dans robots.txt signale que le contenu futur de votre site doit être exclu de l'entraînement. Le bloquer seul n'arrête ni Claude-SearchBot ni Claude-User, qui servent la recherche et les réponses en direct.
Ce qu'il fait
Anthropic indique que ClaudeBot collecte du contenu web pouvant contribuer à l'entraînement de ses modèles, afin d'en améliorer l'utilité et la sécurité. Interdire ClaudeBot signale que les contenus futurs de votre site doivent être exclus des jeux de données d'entraînement.
Anthropic prend aussi en charge la directive non standard Crawl-delay : vous pouvez donc ralentir ClaudeBot au lieu de le bloquer. Les règles de robots.txt qui nomment ClaudeBot l'emportent sur le signal général d'Anthropic de non-entraînement de l'IA. Les règles robots.txt s'appliquent par hôte ; ajoutez-les donc à chaque sous-domaine que vous voulez couvrir.
Dans notre étude de 2026-11, 21.2% des sites populaires avec un robots.txt le bloquaient. →
Jeton robots.txt
ClaudeBot
Comment l'autoriser
User-agent: ClaudeBot
Allow: /Comment le bloquer
User-agent: ClaudeBot
Disallow: /Comment vérifier les visites réelles
Anthropic publie les adresses IP de ses robots sur claude.com/crawling/bots.json et indique qu'un robot dont l'IP figure dans cette liste provient d'Anthropic. Comparez l'IP source à la liste plutôt que de vous fier au user agent. Anthropic déconseille de recourir au blocage par IP pour se désinscrire, car cela empêche aussi le robot de lire robots.txt.
Vérifiez si votre site le laisse entrer →
Les robots d'Anthropic : ClaudeBot, Claude-SearchBot et Claude-User →