Cómo comprobar si un sitio web bloquea los rastreadores de IA

Pega cualquier dirección y comprueba si bloquea a GPTBot, ClaudeBot, PerplexityBot y a los demás rastreadores de IA: en el robots.txt, en el cortafuegos o en ambos.

Gratis · Sin registro · Resultados en 30 segundos

Qué rastreadores están bloqueados

Los rastreadores de entrenamiento, de búsqueda y de usuario se muestran por separado, porque bloquear GPTBot no bloquea OAI-SearchBot, y bloquear ClaudeBot no bloquea Claude-SearchBot.

La línea que decide

Para cada rastreador, el robots.txt se lee según las reglas de RFC 9309: el grupo que lo nombra, o User-agent: * como alternativa, y la regla que prevalece.

Rechazos del cortafuegos

La página se solicita como 14 rastreadores y como un navegador normal. Se señalan los bloqueos y las páginas de verificación, y se nombra el cortafuegos que respondió.

Una solución para cada hallazgo

Cada hallazgo incluye el cambio que debes hacer. La comprobación gratuita muestra tu puntuación y el primer hallazgo; el informe completo cuesta $29, un único pago.

Respuesta corta

Un sitio puede bloquear a los rastreadores de IA en dos lugares: el robots.txt, que les pide que no entren, y el servidor o el cortafuegos, que de verdad los rechaza. Busca en el robots.txt el token de cada rastreador y, si no aparece, User-agent: *; después descarga la página como el rastreador y compárala con lo que recibe un navegador. Una extensión de navegador hace la parte del robots.txt para 16 rastreadores de IA con un clic.

Compruébalo a mano en 3 pasos

  1. Elige el rastreador

    Cada empresa de IA usa rastreadores distintos. Entrenamiento: GPTBot, ClaudeBot. Búsqueda: OAI-SearchBot, Claude-SearchBot, PerplexityBot. A petición de una persona: ChatGPT-User, Claude-User, Perplexity-User.

  2. Lee el robots.txt para ese rastreador

    Abre https://example.com/robots.txt y busca el grupo que nombra al rastreador. Si ninguno lo hace, se aplica el grupo User-agent: *; si no hay ninguno de los dos, todo está permitido.

  3. Descarga la página como el rastreador

    Pide la página con el user agent del rastreador y compara el estado y el tamaño con los de un navegador. Un 403, una página de verificación o un 200 mucho más pequeño significa que el cortafuegos lo rechaza.

Preguntas frecuentes

¿Un sitio sin robots.txt está abierto a los rastreadores de IA?

Sí, en lo que respecta al robots.txt. Un 404 en el robots.txt significa que no hay reglas, así que cualquier rastreador puede descargar cualquier página. Aun así, un cortafuegos puede bloquear rastreadores.

¿La extensión muestra los bloqueos del cortafuegos?

No. Lee el robots.txt desde tu navegador, lo que muestra lo que el sitio pide a los rastreadores. Para ver los bloqueos del cortafuegos y de la protección contra bots hace falta una petición enviada como el rastreador, y eso lo hace la comprobación completa de aiseewhy.com.

¿Puedo comprobar un sitio que no es mío?

Sí. El robots.txt es público, y la extensión solo lee los archivos robots.txt y llms.txt que publica el sitio, los mismos que lee cualquier rastreador.

Lee la guía completa

Tanto si revisas tu propio sitio después de un cambio como si miras el de otra persona antes de confiar en él, la pregunta «¿este sitio bloquea a los rastreadores de IA?» tiene una respuesta precisa. Depende de qué rastreador hablemos, porque las empresas de IA usan rastreadores distintos para el entrenamiento, para la búsqueda y para las visitas en directo, y un sitio puede tratar a cada uno de forma diferente. Esta guía muestra tres comprobaciones, de la más rápida a la más completa.

¿Dónde puede un sitio bloquear a los rastreadores de IA?

Hay tres capas, y un rastreador tiene que superar las tres para usar una página.

  • robots.txt: un archivo público de reglas que los rastreadores que se portan bien leen antes de descargar nada. Es una petición, no un candado.
  • El servidor, la CDN o el cortafuegos: ahí se decide lo que realmente se devuelve. Una regla de protección contra bots puede responder a un rastreador con un 403, un 429 o una página de verificación aunque el robots.txt lo permita.
  • La propia página: si el texto principal solo aparece después de ejecutarse JavaScript, un rastreador que lee el HTML inicial recibe una página casi vacía, aunque nada lo haya bloqueado.

La mayoría de las comprobaciones rápidas solo miran la primera capa. Es un buen comienzo, siempre que recuerdes las otras dos.

¿Cómo leo el robots.txt para un rastreador de IA?

Abre https://example.com/robots.txt en un navegador y busca el grupo que se aplica al rastreador. Un grupo empieza con una o más líneas User-agent. El rastreador usa el grupo que nombra su token, como GPTBot; la comparación no distingue mayúsculas de minúsculas. Si ningún grupo lo nombra, usa el grupo User-agent: *. Si no hay ninguno de los dos, todo está permitido.

Dentro del grupo gana la regla con la ruta coincidente más larga, y cuando un Allow y un Disallow tienen la misma longitud, gana Allow. Así que el archivo de abajo bloquea a GPTBot en todo el sitio, pero deja entrar a todos los demás rastreadores:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Fíjate también en cómo responde el archivo. Según la RFC 9309, un 404 significa que no hay reglas, así que todo está permitido. Un error del servidor (5xx) o la falta de respuesta significa que el rastreador debe tratar todo el sitio como bloqueado. Una dirección de robots.txt que devuelve una página HTML es un error común: los rastreadores no encuentran reglas válidas en ella.

¿Cómo compruebo todos los rastreadores de IA a la vez?

Leer el archivo a mano se vuelve lento en cuanto te importa más de un rastreador. Cada empresa de IA tiene varios, con tareas distintas:

  • Los rastreadores de entrenamiento recopilan contenido para entrenar modelos: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, además de los tokens Google-Extended y Applebot-Extended, que solo aparecen en el robots.txt.
  • Los rastreadores de búsqueda indexan páginas para que las respuestas de IA puedan citarlas: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Los rastreadores de usuario descargan una página cuando una persona se lo pide al asistente: ChatGPT-User, Claude-User, Perplexity-User.

La extensión gratuita Comprobador de rastreadores de IA para Chrome lo hace con un clic. Abre cualquier página y haz clic en el icono: la extensión lee el robots.txt de ese sitio y muestra, para cada uno de los 16 rastreadores, si la página está permitida y qué línea lo decide. También muestra las preferencias de Content-Signal, si el sitio tiene un llms.txt y los sitemaps que figuran en el robots.txt. Funciona en tu navegador, no necesita cuenta y solo lee el sitio en el que la usas.

Sin Chrome, el comprobador gratuito de robots.txt de aiseewhy.com da la misma respuesta para una URL que pegues.

¿Cómo compruebo si el cortafuegos los deja pasar?

El robots.txt muestra lo que pide el sitio. Para ver lo que recibe de verdad un rastreador, pide la página dos veces, una como navegador y otra con el user agent del rastreador, y compara el código de estado y el tamaño de la respuesta:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Si el navegador recibe un 200 y el rastreador un 403, 429 o 503, o una página mucho más pequeña, un cortafuegos o una protección contra bots trata al rastreador de otra forma. Hay un límite que se aplica a cualquier prueba externa: sale de tu red, no de la de la empresa de IA. Un cortafuegos que confía en los rastreadores por sus direcciones IP publicadas puede tratar al rastreador real de otra forma, así que la última palabra la tienen los registros de tu servidor.

La comprobación completa de aiseewhy.com descarga la página como cada uno de los 16 rastreadores junto a un navegador real, nombra el cortafuegos o la regla que bloquea a un rastreador y compara el texto que recibió cada uno.

¿Qué resultado debería buscar?

Depende de lo que quieras. Si quieres que te citen en la búsqueda de ChatGPT, en Claude y en Perplexity, los rastreadores de búsqueda y de usuario deben estar permitidos en el robots.txt y recibir la página real del servidor. Si no quieres que tu contenido se use para entrenamiento, bloquea solo los tokens de entrenamiento. Son decisiones separadas: bloquear GPTBot no bloquea OAI-SearchBot, y bloquear ClaudeBot no bloquea Claude-SearchBot.

Muchos sitios las confunden. En nuestro informe de noviembre de 2026 sobre los 1.000 dominios más populares, el 63 % de los sitios que bloquean un rastreador de entrenamiento también bloquean al menos un rastreador de búsqueda o de usuario de IA, lo que deja sus páginas fuera de esas respuestas de IA.

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Fuentes

Más artículos

Publicado