Googlebot
O Googlebot é o principal crawler do Google para montar seus índices de busca. O Google diz que as regras do robots.txt para o Googlebot controlam como um site é rastreado para a Pesquisa, incluindo recursos de IA como AI Overviews e AI Mode. Bloqueá-lo remove suas páginas da Pesquisa Google e dessas respostas de IA.
O que ele faz
O Googlebot é usado para encontrar informações e montar os índices de busca do Google. As preferências de rastreamento dirigidas ao token Googlebot afetam a Pesquisa Google e produtos como Google Imagens, Vídeos, Google Notícias e Discover. Ele roda como crawler de smartphone e de desktop; ambos obedecem às mesmas regras do Googlebot, e o Google diz que seus crawlers comuns sempre obedecem ao robots.txt no rastreamento automático.
A documentação do Google sobre recursos de IA descreve as regras do Googlebot como o controle para a Pesquisa, incluindo AI Overviews e AI Mode, e aponta nosnippet, data-nosnippet, max-snippet e noindex para limitar o que é exibido. O uso para treinamento do Gemini é controlado separadamente pelo Google-Extended.
No nosso estudo de 2026-11, 2.7% dos sites populares com robots.txt o bloqueavam. →
Token do robots.txt
Googlebot
String de user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Como permitir
User-agent: Googlebot
Allow: /Como bloquear
User-agent: Googlebot
Disallow: /Como verificar visitas reais
O Google diz que strings de user agent podem ser falsificadas e recomenda uma verificação de DNS em duas etapas. Faça uma consulta de DNS reverso no IP da requisição: o nome do host deve terminar em googlebot.com, google.com ou googleusercontent.com. Depois faça uma consulta direta nesse nome de host e confirme que ela retorna o mesmo IP. O Google também publica as faixas de IP de seus crawlers comuns em JSON, para você comparar endereços automaticamente.
Veja se seu site deixa ele entrar →
AEO x SEO: o que é igual e o que muda para as respostas de IA →