Cómo bloquear el entrenamiento de IA y seguir en las respuestas de búsqueda con IA

Q: ¿Bloquear GPTBot me quitará de las respuestas de ChatGPT?

No. OpenAI dice que GPTBot es para el entrenamiento y que cada ajuste del robots.txt es independiente. La búsqueda de ChatGPT usa OAI-SearchBot; mientras esté permitido y tu cortafuegos no lo bloquee, tus páginas siguen siendo elegibles.

Q: ¿Bloquear Google-Extended me quita de los AI Overviews?

No, según la documentación de Google. Google dice que Google-Extended no afecta a la inclusión en Google Search, y los AI Overviews se apoyan en el índice de Search. Google ofrece un control aparte en Search Console para excluir un sitio de los AI Overviews y del modo IA.

Q: ¿Existe una única línea que bloquee todo el entrenamiento de IA?

No hay ninguna línea estándar. Content-Signal: ai-train=no expresa la preferencia para todos los rastreadores, pero que un rastreador la respete depende del operador. Los grupos con nombre para cada token de entrenamiento son la vía documentada.

Publicado 2026-11-12

Respuesta corta

La mayoría de los proveedores de IA usan tokens de robots.txt distintos para el entrenamiento de modelos y para la búsqueda. Bloquea los tokens de entrenamiento, como GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent y CCBot, y permite los de búsqueda y de usuario, como OAI-SearchBot, Claude-SearchBot y PerplexityBot. Añade una línea Content-Signal para expresar la misma preferencia con palabras.

Muchos dueños de sitios quieren dos cosas a la vez: que su contenido no se use para entrenar modelos de IA y que los asistentes de IA encuentren, citen y enlacen sus páginas. Como los principales proveedores ya reparten estas funciones entre rastreadores o tokens distintos, el robots.txt puede expresar ambas decisiones. La dificultad es que los nombres cambian de un proveedor a otro, algunos proveedores no encajan en el patrón y una sola línea equivocada puede sacarte de las respuestas de IA en lugar de sacarte de los datos de entrenamiento.

En esta página

¿Qué diferencia hay entre un rastreador de entrenamiento y uno de búsqueda?
¿Qué tokens controlan el entrenamiento y cuáles la búsqueda?
¿Cómo queda el robots.txt?
¿Cuántos sitios lo hacen ya?
¿Qué aporta Content-Signal?
¿Dónde no funciona limpiamente la separación?
¿Cómo compruebo que la separación funciona?

¿Qué diferencia hay entre un rastreador de entrenamiento y uno de búsqueda?

Un rastreador de entrenamiento recopila páginas que pueden usarse para crear o mejorar modelos de IA. El entrenamiento por sí solo no produce una cita ni un enlace. Un rastreador de búsqueda construye un índice que un asistente de IA usa para encontrar fuentes con las que responder, y esas fuentes son las que puede citar. Un agente que actúa a petición del usuario abre una página en directo porque alguien preguntó por ella.

Los proveedores documentan estas funciones por separado y dicen que los ajustes son independientes. OpenAI, por ejemplo, dice que cada ajuste del robots.txt para sus rastreadores es independiente de los demás. Así que una exclusión del entrenamiento bien hecha no afecta a tu visibilidad en la búsqueda.

¿Qué tokens controlan el entrenamiento y cuáles la búsqueda?

Estos son los tokens que documentan los proveedores, agrupados según lo que controlan:

OpenAI: GPTBot rastrea contenido que puede usarse para entrenar sus modelos fundacionales. OAI-SearchBot es para la búsqueda de ChatGPT, y ChatGPT-User gestiona las acciones del usuario; OpenAI dice que el robots.txt puede no aplicarse a este último.
Anthropic: ClaudeBot recopila contenido que podría contribuir al entrenamiento. Claude-SearchBot mejora los resultados de búsqueda de Claude, y Claude-User descarga páginas para los usuarios. Anthropic dice que sus bots respetan el robots.txt.
Google: Google-Extended es un token de robots.txt sin rastreador propio. Controla el uso en el entrenamiento de futuros modelos de Gemini y en el grounding (fundamentación) de las aplicaciones de Gemini y de Vertex AI. Google dice que no afecta a la inclusión ni al posicionamiento en Google Search, que se controla mediante Googlebot.
Apple: Applebot-Extended no rastrea; controla si el contenido rastreado por Applebot se usa para entrenar los modelos fundacionales de Apple. Apple dice que las páginas que lo bloquean pueden seguir apareciendo en sus resultados de búsqueda.
Meta: meta-externalagent rastrea para usos como el entrenamiento de modelos fundacionales, mientras que meta-webindexer mejora los resultados de búsqueda de Meta AI.
Common Crawl: CCBot construye el archivo web público de Common Crawl. El robots.txt gestionado de Cloudflare lo incluye entre los rastreadores de entrenamiento de IA que bloquea.
Perplexity: PerplexityBot y Perplexity-User atienden la búsqueda y las peticiones de los usuarios. Perplexity dice que ninguno se usa para recopilar datos de entrenamiento, así que no existe un token de entrenamiento de Perplexity que bloquear.

¿Cómo queda el robots.txt?

Según la RFC 9309, varias líneas User-agent seguidas forman un solo grupo, de modo que las reglas se aplican a cada una de ellas. Este archivo excluye los tokens de entrenamiento anteriores, permite los agentes de búsqueda y de usuario, y mantiene cerrada para todos una ruta privada:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Hay dos detalles importantes. Primero, un grupo con nombre no hereda de *, así que las rutas privadas hay que repetirlas en el grupo de búsqueda. Segundo, no añadas Googlebot ni Applebot al grupo de entrenamiento: son los rastreadores de búsqueda, y bloquearlos te saca de Google Search y de las funciones de búsqueda de Apple. Los cambios no son instantáneos: OpenAI indica unas 24 horas para la búsqueda, y Perplexity indica hasta 24 horas.

¿Cuántos sitios lo hacen ya?

Menos de los que cabría esperar. Leímos los robots.txt de los 1.000 dominios más populares de la lista Tranco el 2026-11-12. De los 518 que servían un robots.txt, 155 (29,9 %) bloquean la página de inicio a al menos un rastreador de entrenamiento de IA. Solo 57 (11,0 %) siguen la vía selectiva: bloquean los rastreadores de entrenamiento y permiten todos los rastreadores de búsqueda y de usuario de IA que probamos. En total, 101 sitios (19,5 %) bloquean al menos un rastreador de búsqueda o de usuario de IA.

Las cifras por rastreador muestran la misma división. GPTBot está bloqueado en 111 sitios (21,4 %) y OAI-SearchBot en 58 (11,2 %). ClaudeBot está bloqueado en 110 (21,2 %) y Claude-SearchBot en 67 (12,9 %). Google-Extended está bloqueado en 94 (18,1 %), Googlebot en 14 (2,7 %). Solo 18 sitios (3,5 %) usan Content-Signal.

El estudio examina únicamente las reglas del robots.txt para la página de inicio. No mide los bloqueos de cortafuegos ni muestra qué pretendía cada sitio.

¿Qué aporta Content-Signal?

Content Signals es una extensión del robots.txt que Cloudflare publica en contentsignals.org. Una línea Content-Signal indica cómo puede usarse el contenido, con tres señales: search (crear un índice de búsqueda y mostrar enlaces y fragmentos breves), ai-input (incorporar contenido a modelos de IA en tiempo real, por ejemplo para el grounding o la recuperación de información en respuestas generativas) y ai-train (entrenar o ajustar modelos).

Ten en cuenta que la definición de search excluye los resúmenes de búsqueda generados por IA. Si quieres aparecer en las respuestas de IA, define también ai-input=yes, como en el ejemplo anterior. El robots.txt gestionado de Cloudflare añade search=yes, ai-train=no por defecto; una señal que omites ni concede ni restringe ese uso.

Son preferencias declaradas. El sitio de Content Signals dice que no impiden el rastreo a nivel técnico, y Cloudflare señala que cumplir el robots.txt es voluntario. Ninguna de las páginas de rastreadores de OpenAI, Anthropic, Google o Perplexity que revisamos dice si leen Content-Signal, así que trátalo como un complemento de los grupos por rastreador, no como un sustituto.

¿Dónde no funciona limpiamente la separación?

Algunos casos requieren cuidado:

Los AI Overviews y el modo IA de Google se apoyan en el índice de Search que construye Googlebot, así que Google-Extended no te saca de ellos. La ayuda de Search Console de Google añade que Google-Extended limita el entrenamiento de los modelos que hay detrás de las funciones de IA generativa de Search, un alcance que su documentación de rastreadores no menciona. Google ofrece ahora un ajuste aparte en Search Console para excluir un sitio de los AI Overviews y del modo IA.
OpenAI dice que si un sitio permite tanto GPTBot como OAI-SearchBot, puede usar los resultados de un solo rastreo para ambos fines. Bloquear GPTBot es lo que indica que el contenido no debe usarse para entrenamiento.
Las exclusiones miran hacia delante. Anthropic, por ejemplo, describe el bloqueo de ClaudeBot como la exclusión del contenido futuro de tu sitio de los conjuntos de datos de entrenamiento.
Los agentes activados por el usuario están en un punto intermedio. OpenAI y Perplexity dicen que el robots.txt puede no aplicarse a ChatGPT-User y que por lo general no se aplica a Perplexity-User.
Los cortafuegos no leen el robots.txt. Una regla amplia de bloqueo de bots puede detener a los rastreadores de búsqueda que habías permitido. Si aplicas el bloqueo del entrenamiento en el cortafuegos, identifica los agentes de entrenamiento por su nombre y verifícalos por sus rangos de IP publicados.

¿Cómo compruebo que la separación funciona?

Lee tu robots.txt como lo haría cada rastreador: busca el grupo que lo nombra, recurre a * solo si ninguno lo hace y aplica la regla coincidente más larga. Después pide una página con el user agent de cada rastreador de búsqueda y confirma que recibe un 200 con todo el contenido, no un 403 ni una página de verificación.

AISeeWhy hace ambas cosas con 14 rastreadores, agrupados en agentes de entrenamiento, de búsqueda y de usuario, y señala el error más común: bloquear un token de búsqueda como PerplexityBot o Claude-SearchBot queriendo bloquear el entrenamiento.

Preguntas frecuentes

¿Bloquear GPTBot me quitará de las respuestas de ChatGPT?

No. OpenAI dice que GPTBot es para el entrenamiento y que cada ajuste del robots.txt es independiente. La búsqueda de ChatGPT usa OAI-SearchBot; mientras esté permitido y tu cortafuegos no lo bloquee, tus páginas siguen siendo elegibles.

¿Bloquear Google-Extended me quita de los AI Overviews?

No, según la documentación de Google. Google dice que Google-Extended no afecta a la inclusión en Google Search, y los AI Overviews se apoyan en el índice de Search. Google ofrece un control aparte en Search Console para excluir un sitio de los AI Overviews y del modo IA.

¿Existe una única línea que bloquee todo el entrenamiento de IA?

No hay ninguna línea estándar. Content-Signal: ai-train=no expresa la preferencia para todos los rastreadores, pero que un rastreador la respete depende del operador. Los grupos con nombre para cada token de entrenamiento son la vía documentada.

¿Debería bloquear a Perplexity para detener el entrenamiento de IA?

Perplexity dice que sus agentes no se usan para recopilar datos de entrenamiento. Bloquear PerplexityBot reduce tu visibilidad en los resultados de búsqueda de Perplexity sin servir como exclusión del entrenamiento.