Googlebot
Googlebot es el rastreador principal de Google para crear sus índices de búsqueda. Google dice que las reglas de robots.txt para Googlebot son el control de cómo se rastrea un sitio para la Búsqueda, incluidas las funciones de IA como las Vistas creadas con IA y el Modo IA. Bloquearlo elimina sus páginas de la Búsqueda de Google y de esas respuestas de IA.
Qué hace
Googlebot se usa para encontrar información con la que crear los índices de búsqueda de Google. Las preferencias de rastreo dirigidas al token Googlebot afectan a la Búsqueda de Google y a productos como Google Imágenes, Vídeos, Google Noticias y Discover. Funciona como rastreador de smartphone y de ordenador; ambos obedecen las mismas reglas de Googlebot, y Google dice que sus rastreadores comunes siempre obedecen robots.txt cuando rastrean de forma automática.
La documentación de Google sobre las funciones de IA describe las reglas de Googlebot como el control de la Búsqueda, incluidas las Vistas creadas con IA y el Modo IA, y remite a nosnippet, data-nosnippet, max-snippet y noindex para limitar lo que se muestra. El uso para el entrenamiento de Gemini se controla por separado con Google-Extended.
En nuestro estudio de 2026-11, 2.7% de los sitios populares con un robots.txt lo bloqueaban. →
Token de robots.txt
Googlebot
Cadena de user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Cómo permitirlo
User-agent: Googlebot
Allow: /Cómo bloquearlo
User-agent: Googlebot
Disallow: /Cómo verificar las visitas reales
Google indica que las cadenas de user agent pueden falsificarse y recomienda una comprobación DNS en dos pasos. Haga una búsqueda DNS inversa de la IP que realiza la solicitud: el nombre de host debe terminar en googlebot.com, google.com o googleusercontent.com. Después haga una búsqueda directa de ese nombre de host y confirme que devuelve la misma IP. Google también publica en JSON los rangos de IP de sus rastreadores comunes, de modo que puede comparar las direcciones automáticamente.
Compruebe si su sitio le deja entrar →
AEO frente a SEO: qué es igual y qué cambia para las respuestas de IA →