Cómo frenar a los rastreadores de IA sin bloquearlos

Publicado

Respuesta corta

Limita la velocidad en lugar de bloquear. Responde a las peticiones de más de los rastreadores con 429 o 503 y una cabecera Retry-After, da a cada rastreador su propio cupo, deja /robots.txt fuera de cualquier límite y sirve a los rastreadores desde la caché. Crawl-delay en el robots.txt solo ayuda donde el operador lo documenta: Anthropic y Bing lo hacen, Google dice que no lo admite, y OpenAI y Perplexity no lo mencionan. Mantén permitidos los rastreadores de búsqueda de IA, o saldrás también de las respuestas que alimentan.

Cuando un rastreador envía miles de peticiones por hora, la solución rápida es Disallow: / o un bloqueo en el cortafuegos. Para un rastreador de entrenamiento puede ser una decisión razonable. Para OAI-SearchBot, Claude-SearchBot o PerplexityBot, elimina tus páginas de las respuestas de IA en las que quieres aparecer. Casi siempre se puede reducir la carga sin renunciar a eso, con señales que los rastreadores ya entienden: códigos de estado, caché y, en algunos operadores, Crawl-delay.

En esta página
  1. ¿Qué rastreador está causando realmente la carga?
  2. ¿Funciona Crawl-delay con los rastreadores de IA?
  3. ¿Cómo frenan a los rastreadores las respuestas 429 y 503?
  4. ¿Cómo pongo un límite de velocidad a los rastreadores de IA?
  5. ¿Puede la caché reducir la carga de los rastreadores?
  6. ¿Qué debo evitar al frenar a los rastreadores?
  7. ¿Cómo compruebo que los rastreadores siguen pasando?

¿Qué rastreador está causando realmente la carga?

Mira antes de cambiar nada. Cuenta las peticiones por user agent y por hora en tus registros de acceso, y comprueba las IP de origen con los rangos que publica cada proveedor; nuestra guía para revisar los registros del servidor en busca de rastreadores de IA tiene los comandos. Hay dos hallazgos frecuentes:

Ordena también los rastreadores por función. Los rastreadores de entrenamiento como GPTBot y ClaudeBot no son los que hacen que te citen en la búsqueda con IA, así que si el problema es uno de ellos, bloquearlo es una opción razonable. El resto de esta guía es para los rastreadores que quieres conservar.

¿Funciona Crawl-delay con los rastreadores de IA?

Crawl-delay no forma parte de la RFC 9309, así que cada operador decide si lo lee. Esto es lo que dice la documentación en noviembre de 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Cuidado con la lógica de los grupos. Un rastreador que encuentra un grupo con su propio nombre ignora por completo el grupo User-agent: *, así que un grupo de ClaudeBot que solo contenga Crawl-delay anularía todos los Disallow que pusiste para los demás. Repítelos, como arriba. Bing describe Crawl-delay como una excepción que lee de cualquiera de los dos grupos, pero no deberías suponer lo mismo para otros rastreadores.

¿Cómo frenan a los rastreadores las respuestas 429 y 503?

Ante picos de carga, el código de estado es la señal que los rastreadores están hechos para respetar. 429 Too Many Requests, definido en la RFC 6585, significa que el cliente envió demasiadas peticiones en un tiempo dado, y puede llevar una cabecera Retry-After que indica cuánto esperar. 503 Service Unavailable dice que el servidor no puede atender en este momento.

Google lo documenta como la forma de reducir rápido la frecuencia de rastreo de Googlebot: devolver 500, 503 o 429 en lugar de 200 a algunas peticiones de rastreo. Dice que esto reduce la frecuencia de rastreo de todo el nombre de host y que Retry-After puede contener un número de segundos o una fecha.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Que dure poco. Google desaconseja hacerlo más de uno o dos días, porque una URL que devuelve estos códigos durante varios días puede salir de su índice. Para una reducción duradera, Google ofrece en su lugar una solicitud especial a través de Search Console.

OpenAI, Anthropic y Perplexity no documentan cómo reaccionan sus rastreadores ante 429, 503 o Retry-After. Los códigos son la forma estándar de pedir menos, pero cuánto tarda en retroceder cada rastreador de IA no es algo que puedas consultar.

¿Cómo pongo un límite de velocidad a los rastreadores de IA?

Da a cada rastreador su propio cupo en lugar de un límite para todo el tráfico, y responde con 429 a las peticiones que lo superen. En nginx, esto lo hace el módulo limit_req. Las peticiones con clave vacía no se cuentan, así que un map que devuelve una clave solo para los user agents de rastreadores deja tranquilos a los visitantes humanos. Aquí cada rastreador tiene 60 peticiones por minuto con una ráfaga de 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Aquí la clave es el user agent, así que quien copie el nombre de un rastreador comparte el cupo de ese rastreador. Para un límite de velocidad es aceptable. Para una regla de permiso, comprueba también los rangos de IP publicados por el proveedor.

En Cloudflare, las reglas de limitación de velocidad hacen lo mismo en el edge. En el plan Free tienes una regla, que cuenta por IP en intervalos de 10 segundos, y la expresión de la regla puede usar la ruta y el campo Verified Bot. Contar por IP es poco preciso para rastreadores que reparten las peticiones entre muchas direcciones, y los planes superiores añaden más opciones de recuento. La respuesta por defecto es 429, y puedes fijar otro código 4xx y un cuerpo personalizado. AI Crawl Control ofrece Allow, Block y, en beta privada, Charge para cada rastreador, pero ningún ajuste de velocidad.

Uses lo que uses, deja /robots.txt fuera del límite. La RFC 9309 dice que un error del servidor en el robots.txt obliga al rastreador a dar por bloqueado todo el sitio, y Google excluye el 429 de los códigos 4xx que trata como archivo inexistente.

¿Puede la caché reducir la carga de los rastreadores?

A menudo más que un límite de velocidad. Los rastreadores piden sobre todo páginas públicas que son iguales para todos los visitantes, así que servirlas desde una CDN o una caché de páginas convierte renderizados costosos en aciertos baratos. Comprueba que tu caché no guarda una variante aparte y sin cachear para los user agents de rastreadores.

Las peticiones condicionales también ayudan. Google dice que sus rastreadores admiten la caché HTTP con ETag e If-None-Match, y con Last-Modified e If-Modified-Since, y que usan ETag cuando están ambos. Las páginas de rastreadores de OpenAI, Anthropic y Perplexity no dicen si sus rastreadores envían peticiones condicionales, así que cuenta con ese ahorro solo para Google.

¿Qué debo evitar al frenar a los rastreadores?

¿Cómo compruebo que los rastreadores siguen pasando?

Es fácil poner límites de velocidad demasiado estrictos. La comprobación gratuita de AISeeWhy descarga una página como 16 rastreadores de IA y de búsqueda junto a un navegador real, aplica tu robots.txt a cada rastreador y reconoce las páginas de verificación de los cortafuegos, así que se ve cualquier regla que responda a los rastreadores de forma distinta que a los navegadores. Una petición por rastreador no activará un límite sensato, y de eso se trata: ejecútala después de cambiar las reglas para confirmar que las peticiones normales siguen pasando. La comprobación gratuita de IP de rastreadores de IA te dice si una IP de tus registros pertenece de verdad a GPTBot o a otro rastreador.

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿Admite Google Crawl-delay?

No. La documentación de Google sobre robots.txt incluye crawl-delay entre los campos que no admite. Para frenar a Googlebot durante poco tiempo, devuelve 503, 500 o 429 a algunas peticiones; para una reducción más larga, Google ofrece una solicitud especial a través de Search Console.

¿Respeta ClaudeBot el Crawl-delay?

Anthropic dice que admite la extensión no estándar Crawl-delay. Ponla en un grupo de ClaudeBot y repite ahí las reglas Disallow de tu grupo User-agent: *.

¿Admiten GPTBot y PerplexityBot el Crawl-delay?

Las páginas de rastreadores de OpenAI y de Perplexity no mencionan Crawl-delay, así que su efecto no está documentado. Usa un límite en el servidor que responda con 429 a las peticiones de más.

¿Perjudica una respuesta 429 a mi posicionamiento?

No durante un periodo corto. Google documenta 429 y 503 como forma de reducir el rastreo temporalmente, pero advierte de que las URLs que los devuelven durante varios días pueden salir de su índice.

¿Debo bloquear GPTBot para reducir la carga?

Puedes. OpenAI dice que GPTBot rastrea contenido que puede usarse para entrenamiento y que cada ajuste del robots.txt es independiente, así que bloquearlo no te saca de la búsqueda de ChatGPT, que usa OAI-SearchBot. Revisa antes tus registros para asegurarte de que la carga viene de direcciones de OpenAI.

Fuentes

Más artículos