AISeeWhy
ES
Empezar prueba gratuita

¿Puede ChatGPT ver mi sitio web? Cómo comprobarlo

Publicado

Respuesta corta

ChatGPT solo puede citar tu página si el rastreador de búsqueda de OpenAI, OAI-SearchBot, tiene permiso para descargarla y recibe el mismo HTML que un navegador. Comprueba tres cosas: que tu robots.txt no bloquee OAI-SearchBot, que tu cortafuegos o CDN no le responda con un 403 o una página de verificación, y que el texto principal esté en el HTML inicial.

Muchos dueños de sitios le preguntan a ChatGPT por su propio producto, ven que cita a un competidor y se preguntan si ChatGPT siquiera puede acceder a su web. La pregunta tiene una respuesta concreta y comprobable. OpenAI publica los nombres de sus rastreadores y para qué sirve cada uno, así que puedes revisar cada eslabón de la cadena: las reglas del robots.txt, la respuesta que envía tu servidor y el contenido de esa respuesta.

En esta página
  1. ¿Qué rastreadores de OpenAI importan para las respuestas de ChatGPT?
  2. ¿Cómo reviso mi robots.txt para ChatGPT?
  3. ¿Puede un cortafuegos bloquear a ChatGPT aunque el robots.txt lo permita?
  4. ¿Cómo puedo probar lo que recibe OAI-SearchBot?
  5. ¿Y si la página carga pero ChatGPT sigue sin decir nada útil?
  6. ¿Cómo lo comprueba AISeeWhy?

¿Qué rastreadores de OpenAI importan para las respuestas de ChatGPT?

OpenAI documenta tres agentes con los que suelen toparse los dueños de sitios. Tienen funciones distintas, y bloquear uno no bloquea los demás. OpenAI aclara que cada ajuste del robots.txt es independiente.

En resumen: OAI-SearchBot controla las citas, GPTBot controla el entrenamiento y ChatGPT-User gestiona las visitas en directo a petición de un usuario.

¿Cómo reviso mi robots.txt para ChatGPT?

Abre https://yourdomain.com/robots.txt en el navegador. Busca un grupo que nombre a OAI-SearchBot. Si no hay ninguno, el rastreador sigue el grupo User-agent: *. Un Disallow: / en el grupo que se aplique bloquea todo el sitio.

Comprueba también que el archivo responde. Según la RFC 9309, si el robots.txt devuelve un error del servidor (5xx) o no se puede alcanzar, el rastreador debe asumir que todo el sitio está bloqueado. Un 404 no es problema: significa que no hay reglas. Un error habitual es que la dirección del robots.txt devuelva una página HTML con estado 200, porque entonces los rastreadores no encuentran reglas válidas.

Una configuración que mantiene la búsqueda de ChatGPT y excluye el entrenamiento se ve así:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI indica que los cambios para la búsqueda pueden tardar unas 24 horas en aplicarse después de actualizar el robots.txt.

¿Puede un cortafuegos bloquear a ChatGPT aunque el robots.txt lo permita?

Sí, y es una causa frecuente. El robots.txt es una petición a rastreadores que se portan bien, no un control de acceso. Tu cortafuegos, CDN o protección contra bots decide lo que realmente se devuelve. Si trata a un rastreador de IA como un bot no deseado, este recibe un 403, un 429 o una página de verificación, como la pantalla «Just a moment...» de Cloudflare, mientras que las personas con un navegador ven la página con normalidad.

Desde fuera parece un sitio abierto a todos. Solo una petición que se identifique como el rastreador deja ver la diferencia. En ese caso, el robots.txt dice que sí, el servidor dice que no, y gana el servidor.

¿Cómo puedo probar lo que recibe OAI-SearchBot?

Envía dos peticiones a la misma URL, una con el user agent de un navegador y otra con el del rastreador, y compara el código de estado y el tamaño. OpenAI publica un user agent de ejemplo para cada rastreador; el número de versión puede cambiar.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Si el navegador recibe un 200 con un cuerpo grande y el rastreador recibe un 403, 429, 503 o un cuerpo mucho más pequeño, tu cortafuegos está tratando al rastreador de otra forma. Hay una limitación: tu prueba sale de tu propia dirección IP, no de la de OpenAI. Los cortafuegos que verifican a los rastreadores con los rangos de IP publicados (OpenAI los lista en openai.com/searchbot.json) pueden dejar pasar al rastreador real y bloquear tu prueba. Aun así, un bloqueo en esta prueba te dice cómo trata el cortafuegos a ese user agent, y conviene corregirlo.

¿Y si la página carga pero ChatGPT sigue sin decir nada útil?

El acceso es solo el primer paso. Si el HTML que llega es una carcasa vacía que JavaScript rellena después, el rastreador puede recibir casi nada de texto. Mira el HTML en bruto con curl o con el código fuente de tu navegador: si el texto principal no está ahí, es probable que el rastreador tampoco lo vea.

Después vienen las señales de contenido: una respuesta corta y clara al principio de la página, encabezados que coincidan con las preguntas que hace la gente, un editor y un autor con nombre, y fechas visibles. No garantizan una cita, pero hacen que la página sea más fácil de citar correctamente.

¿Cómo lo comprueba AISeeWhy?

AISeeWhy descarga tu página como OAI-SearchBot, GPTBot, ChatGPT-User y otros 11 rastreadores junto a un navegador normal, lee tu robots.txt según las reglas de la RFC 9309 y nombra el cortafuegos cuando responde con un bloqueo o una página de verificación. Cada hallazgo incluye la solución para pegar, y la comprobación gratuita muestra tu puntuación y el primer hallazgo.

Preguntas frecuentes

¿Bloquear GPTBot me saca de la búsqueda de ChatGPT?

No. OpenAI trata cada ajuste de rastreador como independiente. GPTBot tiene que ver con el entrenamiento, mientras que OAI-SearchBot decide si las páginas pueden aparecer en las respuestas de búsqueda de ChatGPT. Puedes bloquear uno y permitir el otro.

¿ChatGPT-User respeta el robots.txt?

OpenAI dice que, como estas visitas las inicia un usuario, las reglas del robots.txt pueden no aplicarse. Si quieres evitar esas visitas, una regla del robots.txt no es un control fiable.

¿Cuánto tarda en llegar a ChatGPT un cambio en el robots.txt?

OpenAI indica que sus sistemas pueden tardar unas 24 horas en ajustarse para la búsqueda después de actualizar el robots.txt.

¿Basta con ser accesible para que te citen?

No. El acceso hace posible una cita, pero no la garantiza. Lo que dice la página y lo claro que lo dice siguen decidiendo si se usa en una respuesta.

Fuentes

Más artículos