Cómo frenar a los rastreadores de IA sin bloquearlos
Limita la velocidad en lugar de bloquear. Responde a las peticiones de más de los rastreadores con 429 o 503 y una cabecera Retry-After, da a cada rastreador su propio cupo, deja /robots.txt fuera de cualquier límite y sirve a los rastreadores desde la caché. Crawl-delay en el robots.txt solo ayuda donde el operador lo documenta: Anthropic y Bing lo hacen, Google dice que no lo admite, y OpenAI y Perplexity no lo mencionan. Mantén permitidos los rastreadores de búsqueda de IA, o saldrás también de las respuestas que alimentan.
Cuando un rastreador envía miles de peticiones por hora, la solución rápida es Disallow: / o un bloqueo en el cortafuegos. Para un rastreador de entrenamiento puede ser una decisión razonable. Para OAI-SearchBot, Claude-SearchBot o PerplexityBot, elimina tus páginas de las respuestas de IA en las que quieres aparecer. Casi siempre se puede reducir la carga sin renunciar a eso, con señales que los rastreadores ya entienden: códigos de estado, caché y, en algunos operadores, Crawl-delay.
En esta página
- ¿Qué rastreador está causando realmente la carga?
- ¿Funciona Crawl-delay con los rastreadores de IA?
- ¿Cómo frenan a los rastreadores las respuestas 429 y 503?
- ¿Cómo pongo un límite de velocidad a los rastreadores de IA?
- ¿Puede la caché reducir la carga de los rastreadores?
- ¿Qué debo evitar al frenar a los rastreadores?
- ¿Cómo compruebo que los rastreadores siguen pasando?
¿Qué rastreador está causando realmente la carga?
Mira antes de cambiar nada. Cuenta las peticiones por user agent y por hora en tus registros de acceso, y comprueba las IP de origen con los rangos que publica cada proveedor; nuestra guía para revisar los registros del servidor en busca de rastreadores de IA tiene los comandos. Hay dos hallazgos frecuentes:
- El tráfico intenso solo dice ser un rastreador de IA. Si las IP no están en la lista del proveedor, las reglas para el rastreador real no servirán. Limita o bloquea ese tráfico por su origen.
- Un rastreador real está atrapado en una trampa de rastreo, como páginas de calendario infinitas, combinaciones de filtros o IDs de sesión en las URLs. Cerrar la trampa con reglas
Disallowpara esas rutas ahorra más que cualquier límite de velocidad.
Ordena también los rastreadores por función. Los rastreadores de entrenamiento como GPTBot y ClaudeBot no son los que hacen que te citen en la búsqueda con IA, así que si el problema es uno de ellos, bloquearlo es una opción razonable. El resto de esta guía es para los rastreadores que quieres conservar.
¿Funciona Crawl-delay con los rastreadores de IA?
Crawl-delay no forma parte de la RFC 9309, así que cada operador decide si lo lee. Esto es lo que dice la documentación en noviembre de 2026:
- Anthropic: lo admite. Su página de ayuda dice que admite la extensión no estándar
Crawl-delaypara limitar la actividad de rastreo, conCrawl-delay: 1en un grupo deClaudeBotcomo ejemplo. - Microsoft Bing: lo admite. El blog para webmasters de Bing describe el valor como una ventana de 1 a 30 segundos en la que
bingbotrastrea como máximo una página, y dice que un crawl delay en el robots.txt prevalece sobre los ajustes de rastreo de Bing Webmaster Tools. - Google: no lo admite. La documentación de Google sobre robots.txt nombra
crawl-delaycomo un campo que no admite. - OpenAI y Perplexity: sus páginas de rastreadores no lo mencionan, así que su efecto en
GPTBot,OAI-SearchBotoPerplexityBotno está documentado.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Cuidado con la lógica de los grupos. Un rastreador que encuentra un grupo con su propio nombre ignora por completo el grupo User-agent: *, así que un grupo de ClaudeBot que solo contenga Crawl-delay anularía todos los Disallow que pusiste para los demás. Repítelos, como arriba. Bing describe Crawl-delay como una excepción que lee de cualquiera de los dos grupos, pero no deberías suponer lo mismo para otros rastreadores.
¿Cómo frenan a los rastreadores las respuestas 429 y 503?
Ante picos de carga, el código de estado es la señal que los rastreadores están hechos para respetar. 429 Too Many Requests, definido en la RFC 6585, significa que el cliente envió demasiadas peticiones en un tiempo dado, y puede llevar una cabecera Retry-After que indica cuánto esperar. 503 Service Unavailable dice que el servidor no puede atender en este momento.
Google lo documenta como la forma de reducir rápido la frecuencia de rastreo de Googlebot: devolver 500, 503 o 429 en lugar de 200 a algunas peticiones de rastreo. Dice que esto reduce la frecuencia de rastreo de todo el nombre de host y que Retry-After puede contener un número de segundos o una fecha.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Que dure poco. Google desaconseja hacerlo más de uno o dos días, porque una URL que devuelve estos códigos durante varios días puede salir de su índice. Para una reducción duradera, Google ofrece en su lugar una solicitud especial a través de Search Console.
OpenAI, Anthropic y Perplexity no documentan cómo reaccionan sus rastreadores ante 429, 503 o Retry-After. Los códigos son la forma estándar de pedir menos, pero cuánto tarda en retroceder cada rastreador de IA no es algo que puedas consultar.
¿Cómo pongo un límite de velocidad a los rastreadores de IA?
Da a cada rastreador su propio cupo en lugar de un límite para todo el tráfico, y responde con 429 a las peticiones que lo superen. En nginx, esto lo hace el módulo limit_req. Las peticiones con clave vacía no se cuentan, así que un map que devuelve una clave solo para los user agents de rastreadores deja tranquilos a los visitantes humanos. Aquí cada rastreador tiene 60 peticiones por minuto con una ráfaga de 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Aquí la clave es el user agent, así que quien copie el nombre de un rastreador comparte el cupo de ese rastreador. Para un límite de velocidad es aceptable. Para una regla de permiso, comprueba también los rangos de IP publicados por el proveedor.
En Cloudflare, las reglas de limitación de velocidad hacen lo mismo en el edge. En el plan Free tienes una regla, que cuenta por IP en intervalos de 10 segundos, y la expresión de la regla puede usar la ruta y el campo Verified Bot. Contar por IP es poco preciso para rastreadores que reparten las peticiones entre muchas direcciones, y los planes superiores añaden más opciones de recuento. La respuesta por defecto es 429, y puedes fijar otro código 4xx y un cuerpo personalizado. AI Crawl Control ofrece Allow, Block y, en beta privada, Charge para cada rastreador, pero ningún ajuste de velocidad.
Uses lo que uses, deja /robots.txt fuera del límite. La RFC 9309 dice que un error del servidor en el robots.txt obliga al rastreador a dar por bloqueado todo el sitio, y Google excluye el 429 de los códigos 4xx que trata como archivo inexistente.
¿Puede la caché reducir la carga de los rastreadores?
A menudo más que un límite de velocidad. Los rastreadores piden sobre todo páginas públicas que son iguales para todos los visitantes, así que servirlas desde una CDN o una caché de páginas convierte renderizados costosos en aciertos baratos. Comprueba que tu caché no guarda una variante aparte y sin cachear para los user agents de rastreadores.
Las peticiones condicionales también ayudan. Google dice que sus rastreadores admiten la caché HTTP con ETag e If-None-Match, y con Last-Modified e If-Modified-Since, y que usan ETag cuando están ambos. Las páginas de rastreadores de OpenAI, Anthropic y Perplexity no dicen si sus rastreadores envían peticiones condicionales, así que cuenta con ese ahorro solo para Google.
¿Qué debo evitar al frenar a los rastreadores?
- Bloquear en el cortafuegos los rangos de IP de un proveedor. Anthropic advierte de que esto puede no funcionar bien o no mantener una exclusión, porque impide que sus bots lean tu robots.txt.
- Servir
5xxo429durante días. Google dice que las URLs que los siguen devolviendo pueden salir de su índice. - Usar la protección contra bots como freno. El Bot Fight Mode de Cloudflare plantea a los bots desafíos costosos de calcular y no se puede omitir con reglas personalizadas del WAF, así que no puedes excluir a los rastreadores que quieres conservar.
- Bloquear un rastreador de búsqueda para ahorrar ancho de banda. Un
DisallowparaOAI-SearchBot,Claude-SearchBotoPerplexityBotte saca de las respuestas que alimentan esos rastreadores.
¿Cómo compruebo que los rastreadores siguen pasando?
Es fácil poner límites de velocidad demasiado estrictos. La comprobación gratuita de AISeeWhy descarga una página como 16 rastreadores de IA y de búsqueda junto a un navegador real, aplica tu robots.txt a cada rastreador y reconoce las páginas de verificación de los cortafuegos, así que se ve cualquier regla que responda a los rastreadores de forma distinta que a los navegadores. Una petición por rastreador no activará un límite sensato, y de eso se trata: ejecútala después de cambiar las reglas para confirmar que las peticiones normales siguen pasando. La comprobación gratuita de IP de rastreadores de IA te dice si una IP de tus registros pertenece de verdad a GPTBot o a otro rastreador.
Próximos pasos
- Probador y comprobador de robots.txt para rastreadores de IA
- Comprobación de IP de rastreadores de IA
- Ver un ejemplo de informe completo
- Monitorización de rastreadores de IA
- Planes y precios
Rastreadores en este artículo
Preguntas frecuentes
¿Admite Google Crawl-delay?
No. La documentación de Google sobre robots.txt incluye crawl-delay entre los campos que no admite. Para frenar a Googlebot durante poco tiempo, devuelve 503, 500 o 429 a algunas peticiones; para una reducción más larga, Google ofrece una solicitud especial a través de Search Console.
¿Respeta ClaudeBot el Crawl-delay?
Anthropic dice que admite la extensión no estándar Crawl-delay. Ponla en un grupo de ClaudeBot y repite ahí las reglas Disallow de tu grupo User-agent: *.
¿Admiten GPTBot y PerplexityBot el Crawl-delay?
Las páginas de rastreadores de OpenAI y de Perplexity no mencionan Crawl-delay, así que su efecto no está documentado. Usa un límite en el servidor que responda con 429 a las peticiones de más.
¿Perjudica una respuesta 429 a mi posicionamiento?
No durante un periodo corto. Google documenta 429 y 503 como forma de reducir el rastreo temporalmente, pero advierte de que las URLs que los devuelven durante varios días pueden salir de su índice.
¿Debo bloquear GPTBot para reducir la carga?
Puedes. OpenAI dice que GPTBot rastrea contenido que puede usarse para entrenamiento y que cada ajuste del robots.txt es independiente, así que bloquearlo no te saca de la búsqueda de ChatGPT, que usa OAI-SearchBot. Revisa antes tus registros para asegurarte de que la carga viene de direcciones de OpenAI.
Fuentes
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers