AISeeWhy
ES
Empezar prueba gratuita

Los rastreadores de OpenAI explicados: GPTBot, OAI-SearchBot y ChatGPT-User

Publicado

Respuesta corta

OpenAI usa GPTBot para recopilar contenido que puede entrenar sus modelos, OAI-SearchBot para indexar páginas de la búsqueda de ChatGPT y ChatGPT-User para las visitas que pide una persona. Bloquear GPTBot solo te excluye del entrenamiento. Bloquear OAI-SearchBot te saca de las respuestas de búsqueda de ChatGPT. El robots.txt puede no aplicarse a ChatGPT-User.

Tres user agents distintos de una misma empresa, cada uno con su propio token de robots.txt, generan mucha confusión. Muchos sitios bloquearon GPTBot cuando apareció, y algunos descubrieron después que también habían bloqueado el rastreador que decide si ChatGPT puede citarlos, a menudo por una regla de cortafuegos demasiado amplia. Este artículo repasa cada agente con la propia documentación de OpenAI.

En esta página
  1. ¿Qué hace GPTBot?
  2. ¿Qué hace OAI-SearchBot?
  3. ¿Qué hace ChatGPT-User?
  4. ¿Qué pasa cuando bloqueo cada uno?
  5. ¿Qué robots.txt debo usar para los rastreadores de OpenAI?
  6. ¿Cómo confirmo que el cortafuegos los deja pasar?

¿Qué hace GPTBot?

GPTBot rastrea contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI. La documentación de OpenAI dice que bloquear GPTBot indica que el contenido de un sitio no debe usarse para entrenar esos modelos.

Su user agent contiene el token GPTBot, por ejemplo Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI señala que el número de versión puede cambiar, así que haz coincidir el token, no la cadena completa. OpenAI publica sus rangos de IP en openai.com/gptbot.json.

Permitirlo o no es una decisión de política de contenido. Algunos editores quieren que su contenido esté en los datos de entrenamiento y otros no. Bloquearlo no afecta a la búsqueda de ChatGPT, porque esa usa otro rastreador. Si más adelante cambias de opinión, basta con quitar la línea Disallow; no hay nada que registrar ni solicitar.

¿Qué hace OAI-SearchBot?

OAI-SearchBot es el rastreador de búsqueda de OpenAI. Hace que los sitios web aparezcan en las funciones de búsqueda de ChatGPT. OpenAI afirma sin rodeos que los sitios que han excluido a OAI-SearchBot no aparecerán en las respuestas de búsqueda de ChatGPT.

Si quieres que ChatGPT cite tus páginas, este es el rastreador que debes permitir, tanto en el robots.txt como en tu cortafuegos. Sus rangos de IP se publican en openai.com/searchbot.json, lo que permite a un cortafuegos verificar que una petición realmente viene de OpenAI.

¿Qué hace ChatGPT-User?

ChatGPT-User no es un rastreador en el sentido habitual. Descarga una página cuando un usuario de ChatGPT o un GPT personalizado se lo pide, por ejemplo cuando alguien pega tu URL en un chat y pide un resumen. OpenAI dice que no se usa para rastrear la web de forma automática.

Dos detalles de la documentación de OpenAI importan aquí. Primero, como estas acciones las inicia un usuario, las reglas del robots.txt pueden no aplicarse. Segundo, ChatGPT-User no se usa para determinar si un contenido puede aparecer en la búsqueda. Para la búsqueda, el ajuste que cuenta es el de OAI-SearchBot.

¿Qué pasa cuando bloqueo cada uno?

OpenAI también señala que, cuando GPTBot y OAI-SearchBot están permitidos, puede usar los resultados de un mismo rastreo para ambos fines y así evitar rastrear dos veces.

¿Qué robots.txt debo usar para los rastreadores de OpenAI?

Para la mayoría de los sitios que quieren aparecer en las respuestas de ChatGPT, permite el rastreador de búsqueda y decide por separado sobre el entrenamiento. Este archivo permite la búsqueda y excluye el entrenamiento:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Fíjate en un detalle de la RFC 9309: un rastreador sigue el grupo que lo nombra e ignora el grupo *. En el ejemplo anterior, OAI-SearchBot podría entrar en /admin/, porque su propio grupo no tiene una línea Disallow: /admin/. Repite en cada grupo con nombre las rutas que quieras mantener privadas. OpenAI dice que los cambios para la búsqueda pueden tardar unas 24 horas en aplicarse.

¿Cómo confirmo que el cortafuegos los deja pasar?

El robots.txt solo expresa tu política. El cortafuegos o la CDN deciden lo que recibe realmente cada petición. Pide una página con el user agent de cada rastreador y compara el código de estado y el tamaño del cuerpo con los de una petición de navegador. Un 403, un 429 o una página de verificación para el rastreador, con una página normal para el navegador, significa que el cortafuegos se impone a tu robots.txt.

AISeeWhy hace esta comparación para los tres agentes de OpenAI a la vez, marca como P1 los bloqueos de OAI-SearchBot y ChatGPT-User porque cuestan citas, y muestra un GPTBot bloqueado como una decisión de política de nivel P3, no como un error.

Preguntas frecuentes

¿GPTBot es lo mismo que ChatGPT?

No. GPTBot es un rastreador de datos de entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot, y las visitas en directo que piden los usuarios vienen de ChatGPT-User.

¿Puedo permitir la búsqueda de ChatGPT y bloquear el entrenamiento?

Sí. Permite OAI-SearchBot y bloquea GPTBot en el robots.txt. OpenAI documenta los dos ajustes como independientes.

¿Debo bloquear a OpenAI por dirección IP?

Bloquear por IP impide que el rastreador lea tu robots.txt y hace más difícil cambiar tu política. Normalmente es mejor expresar la política en el robots.txt y usar los rangos de IP publicados para verificar a los rastreadores de OpenAI, no para bloquearlos.

¿Por qué comparar el token y no el user agent completo?

OpenAI dice que el número de versión de sus user agents puede cambiar, y que las cadenas de ejemplo que publica difieren entre rastreadores. Las reglas que buscan GPTBot u OAI-SearchBot siguen funcionando tras una actualización; las que buscan la cadena exacta pueden dejar de coincidir sin avisar.

Fuentes

Más artículos