AISeeWhy
ES
Empezar prueba gratuita

Los rastreadores de Anthropic: ClaudeBot, Claude-SearchBot y Claude-User

Publicado

Respuesta corta

Anthropic tiene tres agentes: ClaudeBot recopila contenido que puede usarse para entrenar sus modelos, Claude-SearchBot rastrea para mejorar los resultados de búsqueda de Claude y Claude-User descarga páginas cuando la pregunta de un usuario de Claude lo requiere. Cada uno tiene su propio token de robots.txt, y Anthropic dice que los tres respetan el robots.txt. Bloquear solo ClaudeBot no detiene ni la búsqueda ni las descargas a petición del usuario.

Anthropic documenta sus rastreadores en una única página de ayuda, y la estructura es la de otros proveedores de IA: un agente para el entrenamiento, uno para la búsqueda y otro para las descargas en directo en nombre de un usuario. Si quieres que Claude pueda encontrar y citar tus páginas, los dos últimos son los que más importan.

En esta página
  1. ¿Qué hace ClaudeBot?
  2. ¿Qué hace Claude-SearchBot?
  3. ¿Qué hace Claude-User?
  4. ¿Cómo escribo las reglas de robots.txt para Claude?
  5. ¿Cómo se compara el planteamiento de Anthropic con el de OpenAI y Perplexity?
  6. ¿Debo bloquear a Anthropic por dirección IP?
  7. ¿Por qué Claude podría seguir sin leer mi página?

¿Qué hace ClaudeBot?

ClaudeBot recopila contenido web que podría contribuir al entrenamiento de los modelos de IA generativa de Anthropic. Según Anthropic, bloquearlo indica que el contenido futuro de tu sitio debe excluirse de los conjuntos de datos de entrenamiento.

Anthropic también dice que respeta una señal legible por máquina de no entrenamiento con IA basada en un borrador del IETF, y que las reglas que nombran a ClaudeBot en el robots.txt prevalecen sobre ese ajuste general. Como con otros rastreadores de entrenamiento, bloquearlo es una decisión de política.

¿Qué hace Claude-SearchBot?

Claude-SearchBot rastrea la web para mejorar la relevancia y la precisión de los resultados de búsqueda en Claude. Anthropic dice que bloquearlo impide que tu contenido se indexe para la búsqueda, lo que puede reducir tu visibilidad y la precisión en los resultados de búsqueda de los usuarios.

Este es el agente que conviene permitir si quieres que las funciones de búsqueda de Claude conozcan tus páginas antes de que nadie pregunte por ellas. Como es un rastreador de búsqueda, se beneficia de lo mismo que cualquier otro: un sitemap indicado en el robots.txt, enlaces internos limpios y páginas que devuelven su contenido en la primera respuesta.

¿Qué hace Claude-User?

Claude-User accede a un sitio web cuando un usuario de Claude hace una pregunta que lo requiere, por ejemplo cuando alguien comparte una URL o le pide a Claude que busque algo. Anthropic dice que bloquearlo impide la recuperación en respuesta a las consultas de los usuarios, lo que puede reducir tu visibilidad en la búsqueda web dirigida por el usuario.

Fíjate en una diferencia con otros proveedores. Anthropic afirma que sus bots respetan las directivas del robots.txt, y describe cómo bloquear a Claude-User mediante ese archivo. OpenAI y Perplexity, en cambio, dicen que sus agentes de descarga a petición del usuario pueden no seguir el robots.txt.

¿Cómo escribo las reglas de robots.txt para Claude?

Cada agente tiene su propio token, y un grupo que nombra a un rastreador sustituye al grupo * para ese rastreador según la RFC 9309. Una opción habitual es permitir la búsqueda y las descargas a petición del usuario y excluir el entrenamiento:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic también admite Crawl-delay como extensión no estándar, por ejemplo Crawl-delay: 1 bajo User-agent: ClaudeBot, si quieres ralentizar el rastreo en lugar de bloquearlo. Las reglas deben estar en el robots.txt del directorio raíz de cada host, así que añádelas a cada subdominio que quieras cubrir.

¿Cómo se compara el planteamiento de Anthropic con el de OpenAI y Perplexity?

Los tres proveedores siguen el mismo patrón con nombres distintos, lo que facilita razonar sobre un robots.txt combinado. La diferencia principal es cómo trata cada uno el robots.txt en las descargas en directo a petición de un usuario.

Si escribes un solo robots.txt para los tres, pon los tokens de búsqueda y de descarga a petición del usuario en un grupo y los de entrenamiento en otro. Así la política se lee bien y se ve claro qué elegiste para cada finalidad.

¿Debo bloquear a Anthropic por dirección IP?

Anthropic lo desaconseja. Su documentación dice que bloquear direcciones IP puede no funcionar correctamente ni garantizar de forma duradera la exclusión, porque además impide que el rastreador lea tu robots.txt. Usa el robots.txt para fijar tu política.

Anthropic sí publica las direcciones IP de sus rastreadores en claude.com/crawling/bots.json. La forma útil de usar esa lista es la contraria a bloquear: deja que tu cortafuegos verifique que una petición que dice ser Claude-SearchBot o Claude-User viene realmente de Anthropic, y déjala pasar.

¿Por qué Claude podría seguir sin leer mi página?

Incluso con un robots.txt permisivo, tu cortafuegos o CDN puede responder a los agentes de Anthropic con un 403 o una página de verificación. Anthropic dice que sus bots respetan las tecnologías anti elusión y no intentarán saltarse los CAPTCHA, así que una página de verificación simplemente pone fin a la visita. Las páginas cuyo texto solo aparece después de ejecutar JavaScript también pueden llegar casi vacías.

AISeeWhy pide tu página como ClaudeBot, Claude-SearchBot y Claude-User junto a un navegador y revisa tus reglas de robots.txt para cada uno, de modo que puedas ver si la política que escribiste es la que aplica tu servidor.

Preguntas frecuentes

¿Bloquear ClaudeBot saca mi sitio de las respuestas de Claude?

No por sí solo. La indexación para la búsqueda y las descargas pedidas por el usuario usan Claude-SearchBot y Claude-User, que tienen sus propios tokens de robots.txt.

¿Claude-User respeta el robots.txt?

Anthropic dice que sus bots respetan el robots.txt y describe el bloqueo de Claude-User ahí, con el efecto de que Claude no puede recuperar tus páginas para responder a las preguntas de los usuarios.

¿Los rastreadores de Anthropic resuelven un CAPTCHA?

No. Anthropic dice que sus bots respetan las tecnologías anti elusión y no intentarán saltarse los CAPTCHA.

¿Puedo ralentizar a ClaudeBot en lugar de bloquearlo?

Sí. Anthropic admite Crawl-delay como extensión no estándar, por ejemplo Crawl-delay: 1 en el grupo ClaudeBot de tu robots.txt.

¿Cómo puedo verificar que una petición viene realmente de Anthropic?

Compara la IP de origen con la lista que Anthropic publica en claude.com/crawling/bots.json. Cualquiera puede copiar un user agent.

Fuentes

Más artículos