¿Qué es Content-Signal en robots.txt y alguien lo respeta?
Content-Signal es una línea opcional del robots.txt, publicada por Cloudflare, que indica cómo puede usarse tu contenido después de descargarlo: search para resultados de búsqueda, ai-input para usarlo en respuestas de IA y ai-train para entrenar modelos, cada una con yes o no, como en Content-Signal: search=yes, ai-input=yes, ai-train=no. Expresa una preferencia y no bloquea nada. En noviembre de 2026, ninguna de las páginas de rastreadores de OpenAI, Anthropic, Google o Perplexity dice que la lea, mientras que las grandes empresas de IA han respaldado otro token distinto, solo para entrenamiento.
El robots.txt se creó para decir adónde puede ir un rastreador, no qué se puede hacer con lo que lee. Cuando una misma descarga empezó a alimentar un índice de búsqueda, una respuesta de IA en vivo y un conjunto de entrenamiento, ese hueco empezó a importar. Cloudflare publicó la Content Signals Policy el 24 de septiembre de 2025 con licencia CC0 para cubrirlo, y dijo entonces que sus clientes ya habían activado el robots.txt gestionado en más de 3,8 millones de dominios, una función que ahora añade la línea por ellos.
En esta página
- ¿Qué significan search, ai-input y ai-train?
- ¿Cómo escribo una línea Content-Signal en el robots.txt?
- ¿Qué dice el texto de la política que va encima de la línea?
- ¿Tengo ya Content-Signal en mi robots.txt?
- ¿Respetan los rastreadores de IA Content-Signal?
- ¿Debo añadir Content-Signal a mi robots.txt?
- ¿Cómo compruebo qué le dice mi robots.txt a cada rastreador?
¿Qué significan search, ai-input y ai-train?
La política define tres señales. La redacción de abajo sigue contentsignals.org y el texto de la política que publica Cloudflare:
search: crear un índice de búsqueda y ofrecer resultados de búsqueda, por ejemplo devolver hipervínculos y fragmentos breves de tus páginas. La definición aclara que search no incluye los resúmenes de búsqueda generados por IA.ai-input: introducir contenido en uno o varios modelos de IA, por ejemplo generación aumentada por recuperación (RAG), grounding u otro uso en tiempo real del contenido para respuestas de búsqueda con IA generativa.ai-train: entrenar o ajustar (fine-tuning) modelos de IA.
Cada señal toma yes o no. En los términos de la política, yes significa que el contenido puede recopilarse para ese uso, no que no puede, y una señal que omites ni concede ni restringe ese uso. El valor por defecto de Cloudflare fija search y ai-train y deja ai-input sin definir, porque dice que no conoce la preferencia de cada cliente para esa señal y no quiere adivinarla.
La separación entre search y ai-input es la que más gente pasa por alto. Si quieres que tus páginas se usen en respuestas de IA, search=yes por sí solo no lo dice. ai-input=yes sí.
¿Cómo escribo una línea Content-Signal en el robots.txt?
Content-Signal va dentro de un grupo de user agent, junto a Allow y Disallow, con las señales separadas por comas. contentsignals.org muestra también una forma que empieza por una ruta, para que una sección del sitio lleve señales distintas del resto:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow y Disallow siguen funcionando exactamente igual, y Content-Signal no los sustituye. La RFC 9309 permite a los rastreadores interpretar registros que no forman parte del protocolo siempre que no interfieran con las reglas definidas, así que un analizador que no conozca la línea debería saltársela.
Conviene conocer dos detalles. Primero, la línea pertenece a un grupo. Según la RFC 9309, un rastreador que tiene un grupo con su propio nombre ignora por completo el grupo User-agent: *, y las páginas de Content Signals no describen ninguna excepción para esta línea. Si das a Googlebot o a OAI-SearchBot un grupo propio, repite ahí la línea Content-Signal, como hace contentsignals.org en su ejemplo por rastreador. Segundo, Google Search Console puede marcar la línea como Syntax not understood. La documentación de Cloudflare lo menciona y dice que no ha observado ningún efecto en el rastreo ni en el SEO. La documentación de Google sobre robots.txt solo enumera user-agent, allow, disallow y sitemap como campos admitidos.
¿Qué dice el texto de la política que va encima de la línea?
La Content Signals Policy es más que una línea. El generador de Cloudflare en contentsignals.org y su robots.txt gestionado colocan un bloque de comentarios encima de las señales. Empieza diciendo que, como condición para acceder al sitio web, aceptas respetar las content signals, y después define las tres señales y los casos yes, no y ausente.
Termina con una frase en mayúsculas que afirma que cualquier restricción expresada mediante content signals es una reserva expresa de derechos conforme al artículo 4 de la Directiva (UE) 2019/790 sobre los derechos de autor en el mercado único digital. El anuncio de Cloudflare añade que las señales pueden tener peso legal en distintas jurisdicciones.
El propio contentsignals.org advierte de que los tribunales y los reguladores pueden concluir que los archivos robots.txt no imponen obligaciones legales exigibles, y sugiere consultar a un abogado. Trata el bloque de comentarios como una declaración escrita de tu postura, no como un contrato.
¿Tengo ya Content-Signal en mi robots.txt?
Si tu sitio está en Cloudflare, puede que sí, de una de estas dos formas:
- Robots.txt gestionado. Cuando Bot Preference Sync está activado y al menos una AI Crawler and Agent access policy está en Block, Block on pages with ads o, para Training, Disallow, Cloudflare antepone un bloque gestionado al robots.txt que envía tu servidor. Ese bloque lleva el texto de la política,
Content-signal: search=yes, ai-train=no, use=referencebajoUser-Agent: *, yDisallow: /paraAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotymeta-externalagent. - Ningún robots.txt. Cloudflare dice que los dominios del plan Free que no tienen robots.txt propio y no usan la función gestionada muestran la Content Signals Policy cuando un rastreador solicita
/robots.txt. Esa versión incluye las definiciones, pero no expresa ninguna preferencia.
La parte use=reference es reciente. Cloudflare describe use como un cuarto campo opcional que está probando, con tres valores: immediate (interactuar, pero sin guardar ni reutilizar nada), reference (indexar, extraer fragmentos y enlazar a la fuente) y full (resumir y reproducir). No es una de las tres señales originales, y ninguna de las documentaciones de rastreadores que revisamos lo menciona.
Como Cloudflare añade estas líneas en el edge, el archivo de tu repositorio puede parecer igual mientras el que reciben los rastreadores es distinto. Descarga el https://yourdomain.com/robots.txt publicado antes de añadir tu propia línea, para que la respuesta no exprese dos políticas diferentes.
La adopción sigue siendo baja entre los sitios grandes. En nuestro estudio de noviembre de 2026 de los 1.000 dominios más populares, 18 de los 518 sitios que servían un robots.txt (3,5 %) usaban Content-Signal.
¿Respetan los rastreadores de IA Content-Signal?
No según ninguna documentación que hayamos encontrado. El 17 de noviembre de 2026 revisamos las páginas de rastreadores de OpenAI, Anthropic, Google y Perplexity, y ninguna menciona Content-Signal. La propia Cloudflare describe las señales como preferencias, no como contramedidas técnicas contra el scraping, y dice que algunas empresas podrían simplemente ignorarlas.
Lo que sí han documentado las empresas de IA es un mecanismo distinto basado en el trabajo del grupo AI Preferences del IETF: un token de política, __usage_ai-training, escrito como un grupo User-Agent normal. Solo cubre el entrenamiento, y el Internet-Draft que lo define dice que un grupo User-Agent: * no cuenta como uso del token:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ El soporte es desigual y en parte todavía está por llegar. Anthropic dice que reconoce una señal general de entrenamiento legible por máquinas desde el 30 de octubre de 2026, que la está implantando de forma gradual y que una regla que nombra ClaudeBot tiene prioridad sobre ella. Microsoft documenta el token __usage_ai-training para Bing, y sus nuevas preferencias se aplican a medida que se rastrean las páginas a partir del 1 de febrero de 2027. Google dice que pretende admitir el control compartido en 2027 y que prevé tratar una exclusión del entrenamiento hecha con él como un bloqueo de Google-Extended cuando ese token no se nombre. OpenAI publicó el mismo día un anuncio en el que dice que respetará la señal compartida, sin fecha.
Así que ai-train=no y __usage_ai-training dicen cosas parecidas, pero solo el segundo tiene soporte documentado de empresas de IA. Los tokens por rastreador, como GPTBot y ClaudeBot, siguen siendo los controles que cada proveedor aplica hoy.
¿Debo añadir Content-Signal a mi robots.txt?
Añádelo si quieres tener tu política de uso escrita en un solo sitio que puedan leer máquinas y personas. Además expresa una preferencia ai-input para todos los rastreadores en una sola línea, algo que los tokens de los proveedores solo pueden expresar rastreador por rastreador. Cuesta una línea, y los analizadores que no la conocen se la saltan.
No te fíes solo de ella. Para mantener tu contenido fuera del entrenamiento, bloquea también los tokens de entrenamiento documentados y plantéate usar el token de entrenamiento compartido; nuestra guía para bloquear el entrenamiento de IA sin salir de la búsqueda con IA enumera los tokens por proveedor. Para lo que ignora el robots.txt, solo una regla del cortafuegos hace cumplir un bloqueo.
Por último, comprueba que la línea encaja con el resto del archivo. Un ai-input=no junto a un grupo Allow para OAI-SearchBot o PerplexityBot envía mensajes contradictorios: dejas entrar a los rastreadores de búsqueda de IA mientras dices que sus respuestas no pueden usar lo que descargan.
¿Cómo compruebo qué le dice mi robots.txt a cada rastreador?
El comprobador gratuito de robots.txt de AISeeWhy acepta la dirección de una página o un robots.txt pegado y muestra, para cada rastreador de IA y de búsqueda, si puede descargar esa página, así que puedes confirmar que el archivo publicado, incluido lo que Cloudflare haya antepuesto, dice lo que querías decir. El generador gratuito de robots.txt crea un archivo a partir de tus elecciones.
Próximos pasos
- Probador y comprobador de robots.txt para rastreadores de IA
- Ver un ejemplo de informe completo
- Monitorización de rastreadores de IA
- Planes y precios
Rastreadores en este artículo
Preguntas frecuentes
¿Forma parte Content-Signal del estándar robots.txt?
No. La RFC 9309 define User-agent, Allow y Disallow y permite a los rastreadores interpretar otros registros. Content-Signal procede de la Content Signals Policy de Cloudflare, publicada con licencia CC0. Por otro lado, el grupo AI Preferences del IETF está redactando su propia regla Content-Usage para robots.txt, que sigue siendo un Internet-Draft, no un estándar.
¿Detiene ai-train=no a GPTBot o a ClaudeBot?
No según lo que documentan los proveedores. OpenAI y Anthropic describen el control mediante reglas de robots.txt que nombran GPTBot y ClaudeBot, y ninguna de las páginas de esos rastreadores menciona Content-Signal. Para excluirte del entrenamiento con cualquiera de los dos, bloquea el token por su nombre.
¿Qué diferencia hay entre Content-Signal y __usage_ai-training?
Content-Signal es una línea dentro de un grupo y cubre búsqueda, entrada de IA y entrenamiento. __usage_ai-training es un token de política que se usa como su propio grupo User-Agent y solo cubre el entrenamiento. Anthropic, Microsoft, Google y OpenAI han publicado declaraciones sobre la señal de entrenamiento compartida; ninguna documenta Content-Signal.
¿Por qué Google Search Console dice Syntax not understood?
La documentación de Google sobre robots.txt solo admite user-agent, allow, disallow y sitemap, así que otras líneas pueden aparecer marcadas. Cloudflare dice que no ha observado ningún efecto de estos avisos en el ritmo de rastreo ni en el SEO.
¿Qué significa use=reference?
Es un cuarto campo que Cloudflare está probando. reference significa indexar, extraer fragmentos y enlazar a la fuente. Cloudflare lo añade a los robots.txt gestionados, y ninguna documentación de rastreadores que revisamos lo menciona.
Fuentes
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: informe de acceso de rastreadores de IA, 2026-11