ClaudeBot
ClaudeBot es el rastreador de Anthropic para contenido web que puede usarse para entrenar sus modelos de IA generativa. Si lo prohíbe en robots.txt, indica que el contenido futuro de su sitio debe quedar fuera del entrenamiento. Bloquearlo por sí solo no detiene a Claude-SearchBot ni a Claude-User, que atienden la búsqueda y las respuestas en vivo.
Qué hace
Anthropic dice que ClaudeBot recopila contenido web que podría contribuir al entrenamiento de sus modelos, para mejorar su utilidad y seguridad. Prohibir ClaudeBot indica que los materiales futuros de su sitio deben excluirse de los conjuntos de datos de entrenamiento.
Anthropic también admite la directiva no estándar Crawl-delay, de modo que puede ralentizar a ClaudeBot en lugar de bloquearlo. Las reglas de robots.txt que nombran a ClaudeBot tienen prioridad sobre la señal general de Anthropic de no usar contenido para entrenar IA. Las reglas de robots.txt se aplican por host, así que añádalas a cada subdominio que quiera cubrir.
En nuestro estudio de 2026-11, 21.2% de los sitios populares con un robots.txt lo bloqueaban. →
Token de robots.txt
ClaudeBot
Cómo permitirlo
User-agent: ClaudeBot
Allow: /Cómo bloquearlo
User-agent: ClaudeBot
Disallow: /Cómo verificar las visitas reales
Anthropic publica las direcciones IP de sus rastreadores en claude.com/crawling/bots.json y afirma que un rastreador cuya IP figura en esa lista procede de Anthropic. Compare la IP de origen con la lista en lugar de fiarse del user agent. Anthropic desaconseja usar el bloqueo por IP para excluirse, porque también impide que el rastreador lea robots.txt.
Compruebe si su sitio le deja entrar →
Los rastreadores de Anthropic: ClaudeBot, Claude-SearchBot y Claude-User →