¿Puede Claude ver mi sitio web? Cómo comprobarlo

Publicado · Actualizado

Respuesta corta

Claude solo puede leer tu página si tu robots.txt permite los agentes de Anthropic y tu servidor les envía el mismo HTML que recibe un navegador. Comprueba que el robots.txt no bloquee Claude-SearchBot ni Claude-User, que tu cortafuegos no les responda con un 403 o una página de verificación y que el texto principal esté en el HTML inicial. Después prueba el propio Claude: pega tu URL en un chat y haz las preguntas de tus clientes con la búsqueda web activada.

Si le preguntas a Claude por tu producto y cita otros sitios, lo primero es saber si puede llegar al tuyo. Eso tiene una respuesta comprobable. Anthropic publica los tokens de robots.txt de sus agentes y las direcciones IP desde las que llegan, y Claude muestra las fuentes que ha usado. Así que puedes revisar cada paso en orden: qué dice tu robots.txt, qué envía tu servidor, qué registran tus logs y qué hace Claude con una página cuando se la das.

En esta página
  1. La comprobación de 5 minutos, paso a paso
  2. ¿Cómo lee Claude los sitios web?
  3. ¿Cómo compruebo en el robots.txt si Claude puede acceder a mi sitio web?
  4. ¿Cómo pruebo lo que reciben los agentes de Claude de mi servidor?
  5. ¿Cómo puedo ver si Claude visita realmente mi sitio?
  6. ¿Cómo pruebo el propio Claude con mi página?
  7. ¿Y si Claude puede leer mi página pero no la cita?
  8. ¿Cómo lo comprueba AISeeWhy?

La comprobación de 5 minutos, paso a paso

  1. Abre tu robots.txt y asegúrate de que ningún grupo para Claude-SearchBot, Claude-User o User-agent: * prohíbe la página. ClaudeBot solo importa para el entrenamiento.
  2. Haz una comprobación gratuita de la página en AISeeWhy o envía una petición con el user agent Claude-User: debe recibir el estado 200 y el mismo texto que recibe un navegador.
  3. Busca Claude-SearchBot y Claude-User en tu registro de acceso y mira los códigos de estado que recibieron.
  4. Pega tu URL en Claude con la búsqueda web activada, pídele que resuma la página y después hazle una pregunta que hacen tus compradores y revisa las citas.

Si falla el paso 1 o el 2, corrige primero el acceso; las secciones siguientes explican cómo. Si Claude lee la página pero no la cita, trabaja en el contenido.

¿Cómo lee Claude los sitios web?

Claude accede a la web de dos maneras. Con la búsqueda web, busca cuando una pregunta necesita información actual, revisa varias fuentes y responde con citas. El centro de ayuda de Anthropic dice que toda respuesta que usa la búsqueda web incluye citas. Cuando alguien le da a Claude un enlace concreto, puede abrir esa página directamente.

Anthropic documenta tres agentes para esto, cada uno con su propio token de robots.txt. Claude-SearchBot rastrea para mejorar los resultados de búsqueda de Claude, Claude-User descarga páginas cuando la pregunta de un usuario las necesita y ClaudeBot recopila contenido que puede usarse para entrenamiento. Nuestra guía sobre los tres rastreadores de Anthropic explica en detalle qué hace cada uno. Para que te lean y te citen, los que hay que revisar son los dos primeros.

Un límite honesto: Anthropic no documenta qué índice de búsqueda usa la búsqueda web de Claude ni cómo elige las fuentes. Dice que bloquear Claude-SearchBot puede reducir tu visibilidad en los resultados de búsqueda y que bloquear Claude-User impide la recuperación para las preguntas de los usuarios. Permitir ambos hace posible una cita; no la garantiza.

¿Cómo compruebo en el robots.txt si Claude puede acceder a mi sitio web?

Abre https://yourdomain.com/robots.txt y busca grupos que nombren Claude-SearchBot o Claude-User. Si no aparece ninguno, ambos siguen el grupo User-agent: *. Según la RFC 9309, la coincidencia de tokens no distingue mayúsculas de minúsculas, y un Disallow: / en el grupo que se aplique cierra todo el sitio a ese agente.

Revisa también la respuesta en sí. Un robots.txt que devuelve un error del servidor indica a los rastreadores que den todo por bloqueado. Un 404 significa que no hay reglas. Dos comandos muestran el código de estado y todos los grupos del archivo:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic dice que las reglas deben estar en el robots.txt del nivel superior de cada subdominio, así que blog.example.com necesita su propio archivo. Estos bloqueos no son raros. En nuestro estudio de los 1.000 dominios más populares, 67 de los 518 sitios que servían un robots.txt (12,9 %) bloqueaban la página de inicio a Claude-SearchBot y 68 (13,1 %) a Claude-User, mientras que 110 (21,2 %) lo hacían con el rastreador de entrenamiento ClaudeBot.

¿Cómo pruebo lo que reciben los agentes de Claude de mi servidor?

El robots.txt es una petición, no un control de acceso. Un cortafuegos, una CDN o una protección contra bots pueden responder a los agentes de Anthropic con un 403, un 429 o una página de verificación mientras tu propio navegador ve la página con normalidad. Anthropic dice que sus bots no intentan saltarse los CAPTCHA, así que una página de verificación pone fin a la visita.

Solicita la misma URL con un user agent de navegador y con cada token de Anthropic, y compara el código de estado y el tamaño:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

La página de ayuda de Anthropic nombra los tokens pero no publica las cadenas de user agent completas, así que estas son cadenas de prueba, no las reales de Anthropic. Muestran cómo tratan la petición las reglas que se basan en el nombre. Un 403, 429 o 503 solo en las líneas de Claude, o un 200 mucho más pequeño que el del navegador, apunta a tu cortafuegos.

Tu prueba sale de tu propia dirección IP. Anthropic dice que las peticiones desde direcciones de su lista en claude.com/crawling/bots.json son de Anthropic. Si tu cortafuegos permite rastreadores verificados por IP, los agentes reales pueden pasar mientras tu prueba se bloquea, y también puede ocurrir lo contrario. Usa la lista para permitir a Anthropic, no para bloquearla: Anthropic desaconseja bloquear por IP porque eso también impide que sus bots lean tu robots.txt.

¿Cómo puedo ver si Claude visita realmente mi sitio?

Tus registros de acceso lo responden directamente. Busca en ellos los tres tokens y comprueba después que las direcciones de origen estén dentro de los rangos publicados por Anthropic, porque cualquiera puede copiar el nombre de un user agent:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

El primer comando supone el formato combined habitual, en el que el campo 1 es la dirección del cliente y el campo 9 el código de estado. Muchos códigos 403 o 429 junto a los agentes de Anthropic confirman un problema de cortafuegos. Que no haya ninguna visita de Claude-SearchBot solo significa que todavía no ha rastreado esas páginas o que algo lo detiene antes.

¿Cómo pruebo el propio Claude con mi página?

Abre un chat y pega la URL de una de tus páginas con una petición como «Resume esta página». El centro de ayuda de Anthropic dice que, con la búsqueda web activada, Claude puede abrir los enlaces que le das. Si la búsqueda web está desactivada, actívala desde el menú +; en la experiencia más reciente de Claude no hay interruptor y Claude busca cuando le resulta útil. En los planes Team y Enterprise, un propietario tiene que activar antes la búsqueda web para la organización. Si Claude no puede abrir tu página y un navegador sí, vuelve a la prueba del cortafuegos.

Después haz las preguntas que hacen tus clientes, sin nombrar tu sitio, y abre las fuentes citadas. Anthropic dice que Claude puede usar una ubicación deducida de tu dirección IP para dar resultados locales, así que las respuestas pueden variar según el lugar y de una vez a otra.

Los desarrolladores pueden repetir esto con la API de Claude. La herramienta de búsqueda web acepta una lista allowed_domains, así que una petición limitada a tu dominio muestra si la búsqueda de Claude devuelve alguna de tus páginas para una pregunta:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Unos resultados de búsqueda vacíos significan que la búsqueda de Claude no encontró nada en ese dominio para la pregunta. Anthropic cobra las búsquedas web de la API además de los tokens. La herramienta web fetch de la API también indica por qué no pudo leer una página: url_not_allowed cubre bloqueos como el del robots.txt y url_not_accessible significa un error HTTP. Las respuestas de la API pueden diferir de lo que muestran las aplicaciones de Claude.

¿Y si Claude puede leer mi página pero no la cita?

Primero asegúrate de que el texto que necesita está en el HTML que envía tu servidor. La documentación de la API de Anthropic dice que su herramienta web fetch no admite sitios web renderizados con JavaScript, y Anthropic no dice que sus rastreadores ejecuten scripts. Descarga tu página con curl y busca en la salida una frase de tu contenido principal. Si no está, el renderizado en el servidor o el prerenderizado lo resuelven para Claude y para la mayoría de los demás rastreadores de IA.

A partir de ahí decide la propia página. Pon la respuesta a la pregunta principal de la página en sus primeras frases, usa encabezados que coincidan con las preguntas que hace la gente, nombra al editor y muestra las fechas. Después compara tu página con la que cita Claude para la misma pregunta: la página citada suele responder a esa pregunta exacta de forma más directa.

¿Cómo lo comprueba AISeeWhy?

La comprobación gratuita de AISeeWhy descarga tu página como Claude-SearchBot, Claude-User, ClaudeBot y los demás rastreadores de IA y de búsqueda junto a un navegador real, aplica tu robots.txt a cada uno, reconoce las páginas de verificación y muestra cuánto texto llega sin JavaScript. La comprobación de visibilidad en IA, en los planes de pago, hace tus preguntas a Claude con búsqueda web usando tu propia clave de API y muestra si tu marca o tu dominio se mencionan o se citan.

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿Puedo comprobar gratis si Claude puede ver mi sitio?

Sí. Tu robots.txt, una petición con curl, el registro de tu servidor y una pregunta en Claude no cuestan nada. La comprobación gratuita de AISeeWhy prueba los agentes de Anthropic y otros 13 rastreadores para una página al día sin cuenta.

¿Por qué Claude no puede abrir mi sitio web cuando pego el enlace?

Las causas habituales son un cortafuegos o una protección contra bots que responde a los agentes de Anthropic con un 403 o una página de verificación, una regla de robots.txt que bloquea Claude-User, o una página cuyo texto solo aparece después de ejecutar JavaScript. Prueba la URL con curl como navegador y con los tokens de Claude, y busca peticiones bloqueadas en tus registros.

¿Publica Anthropic una cadena de user agent para hacer pruebas?

La página de ayuda de Anthropic sobre rastreadores enumera los tokens ClaudeBot, Claude-SearchBot y Claude-User, pero no cadenas de user agent completas. Para distinguir el tráfico real de Anthropic de los imitadores, compara la IP de origen con la lista de claude.com/crawling/bots.json.

¿Cuánto tarda en llegar a Claude un cambio en el robots.txt?

Anthropic no da un plazo. La RFC 9309 dice que los rastreadores no deberían usar un robots.txt en caché durante más de 24 horas, así que espera al menos un día antes de valorar el resultado en tus registros o en las respuestas de Claude.

¿Da la API de Claude las mismas respuestas que la aplicación de Claude?

No necesariamente. La aplicación puede usar tu ubicación aproximada y sus propios ajustes, mientras que una petición a la API usa las herramientas y los parámetros que envías. Trata los resultados de la API como una prueba repetible, no como una copia de lo que ve cada usuario.

¿Cómo sé si Claude menciona mi marca?

Hazle a Claude, con la búsqueda web activada, las preguntas de tus clientes y anota si nombra o cita tu sitio y qué competidores aparecen en su lugar. Repite cada pregunta durante varias semanas, porque las respuestas varían. La comprobación de visibilidad en IA de AISeeWhy lo hace cada semana a través de la API de Claude con tu clave, junto a hasta cuatro competidores.

Fuentes

Más artículos