robots.txt para rastreadores de IA: qué permitir y qué bloquear

Publicado 2026-11-12

El robots.txt es un archivo de texto sencillo que se remonta a 1994 y que en 2022 se convirtió en un estándar formal, la RFC 9309. La mayoría de los proveedores de IA dicen que sus rastreadores lo respetan, y varios publican tokens separados para la búsqueda y para el entrenamiento. Eso convierte al robots.txt en el lugar más simple para fijar una política sobre IA, siempre que las reglas signifiquen lo que crees que significan.

¿Qué tokens de robots.txt usan los rastreadores de IA?

Estos son los tokens que documentan los proveedores. La comparación no distingue mayúsculas de minúsculas según la RFC 9309.

• OpenAI: OAI-SearchBot (búsqueda de ChatGPT), GPTBot (entrenamiento), ChatGPT-User (visitas pedidas por el usuario; OpenAI dice que el robots.txt puede no aplicarse).
• Anthropic: Claude-SearchBot (búsqueda), ClaudeBot (entrenamiento), Claude-User (visitas pedidas por el usuario).
• Perplexity: PerplexityBot (búsqueda), Perplexity-User (visitas pedidas por el usuario; Perplexity dice que por lo general ignora el robots.txt).
• Google: Googlebot (Search, incluidas sus funciones de IA) y Google-Extended, un token sin rastreador propio que controla el uso para el entrenamiento y la fundamentación de Gemini.
• Apple: Applebot (Spotlight, Siri, búsqueda de Safari) y Applebot-Extended, que no rastrea pero controla el uso para entrenar los modelos fundacionales de Apple.
• Meta: meta-externalagent (entrenamiento e indexación de productos) y meta-webindexer (búsqueda de Meta AI).
• Common Crawl: CCBot, que construye el archivo público y gratuito de datos de la web de Common Crawl.

¿Cómo es un buen robots.txt para IA?

Este ejemplo deja entrar a la búsqueda con IA y a las descargas a petición del usuario, excluye los principales tokens de entrenamiento y mantiene cerrada para todos una zona privada:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Varias líneas User-agent seguidas forman un solo grupo, así que las reglas de debajo se aplican a cada uno de esos rastreadores. Si quieres que tu contenido se use para entrenamiento, simplemente quita el segundo grupo. Bloquear Google-Extended no afecta a Google Search: Google dice que no influye en la inclusión en Search y que no es una señal de posicionamiento. Del mismo modo, Apple indica que las páginas que bloquean Applebot-Extended aún pueden aparecer en sus resultados de búsqueda.

¿Cómo eligen los rastreadores qué reglas les corresponden?

La RFC 9309 lo define con precisión, y los detalles explican la mayoría de las sorpresas:

• Un rastreador busca el grupo cuyo User-agent coincide con su token de producto, sin distinguir mayúsculas. Si coinciden varios grupos, sus reglas se combinan en uno.
• Solo si ningún grupo coincide, el rastreador sigue el grupo User-agent: *. Un grupo con nombre no hereda nada de *.
• Dentro del grupo gana la regla con la ruta coincidente más larga. Allow: /blog/ se impone a Disallow: / para /blog/post.
• Si una regla Allow y una Disallow coinciden con la misma longitud, debe usarse Allow.
• * en una ruta coincide con cualquier carácter y $ marca el final, de modo que Disallow: /*.pdf$ cubre todos los PDF.

¿Cuáles son los errores más comunes en el robots.txt?

• Esperar que un grupo con nombre herede de *. Un grupo para OAI-SearchBot con solo Allow: / abre todas las rutas, incluidas las que bloqueaste bajo *.
• Una dirección de robots.txt que devuelve una página HTML, a menudo una página 404 servida con estado 200. Los rastreadores no encuentran reglas válidas en ella.
• Un robots.txt que devuelve un error del servidor. La RFC 9309 dice que entonces el rastreador debe asumir que todo el sitio está bloqueado. Un 404 es distinto: significa que no hay restricciones.
• Bloquear un token de búsqueda queriendo bloquear el entrenamiento, por ejemplo bloqueando PerplexityBot o Claude-SearchBot para evitar el entrenamiento de modelos.
• Confiar en el robots.txt para detener las descargas pedidas por el usuario. OpenAI y Perplexity dicen que sus user agents pueden no respetarlo.
• Olvidar los subdominios. Cada host tiene su propio robots.txt; la documentación de Anthropic recuerda a los dueños de sitios que añadan reglas para cada subdominio.

¿Puedo fijar una política de uso de IA más allá de allow y disallow?

Cloudflare ha propuesto una línea Content-Signal para el robots.txt con tres señales: search (crear un índice de búsqueda y mostrar enlaces y extractos breves), ai-input (usar el contenido en tiempo real para respuestas de IA) y ai-train (entrenar o ajustar modelos). El robots.txt gestionado de Cloudflare puede añadirla por ti.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Como todo en el robots.txt, son preferencias, no controles técnicos. La propia Cloudflare señala que cumplir el robots.txt es voluntario. La línea es opcional e inofensiva, pero no sustituye a los grupos por rastreador de más arriba.

¿Cuánto tardan los cambios y cómo los compruebo?

La RFC 9309 dice que los rastreadores no deberían usar un robots.txt en caché durante más de 24 horas, y tanto OpenAI como Perplexity afirman que los cambios pueden tardar aproximadamente un día en aplicarse. Recuerda también que el robots.txt no es un control de acceso: un cortafuegos aún puede bloquear a un rastreador que tus reglas permiten.

AISeeWhy analiza tu robots.txt según la RFC 9309 para cada rastreador que prueba, señala los archivos inaccesibles o servidos como HTML, muestra dónde se contradicen tus reglas y tu servidor y da un diff listo para aplicar el cambio.

Preguntas frecuentes

¿Bloquear GPTBot o ClaudeBot perjudica mi visibilidad en las respuestas de IA?

No directamente. Ambos proveedores usan rastreadores de búsqueda distintos, OAI-SearchBot y Claude-SearchBot, para la búsqueda. Bloquear el rastreador de entrenamiento es una decisión de política.

¿Google-Extended impide los AI Overviews?

No. Google dice que las funciones de IA en Search usan Googlebot y los controles habituales de Search, como nosnippet y noindex. Google-Extended abarca el entrenamiento de Gemini y la fundamentación en otros productos de Google, y no afecta a Search.

¿Los rastreadores de IA admiten Crawl-delay?

No forma parte de la RFC 9309. Anthropic dice que admite Crawl-delay como extensión no estándar; para otros proveedores, consulta su documentación.

¿Dónde debe estar el robots.txt?

En la raíz de cada host, por ejemplo https://example.com/robots.txt. Un archivo en una subcarpeta se ignora, y cada subdominio necesita el suyo.

Fuentes

• RFC 9309: Protocolo de exclusión de robots
• OpenAI: descripción general de los rastreadores de OpenAI
• Google: rastreadores comunes, incluido Google-Extended
• Apple: acerca de Applebot
• Cloudflare: robots.txt gestionado y Content Signals

Más artículos

• ¿Qué es llms.txt y merece la pena añadirlo?
• AEO frente a SEO: qué es igual y qué cambia para las respuestas de IA
• Los rastreadores de Anthropic: ClaudeBot, Claude-SearchBot y Claude-User