O Gemini consegue ver meu site? Como verificar
O Gemini só pode usar sua página em uma resposta com grounding se a página estiver no índice da Pesquisa Google e o seu robots.txt não bloquear o token Google-Extended. O Google diz que o grounding no app Gemini entrega ao modelo conteúdo do índice da Pesquisa Google e que o Google-Extended controla se o seu conteúdo pode ser usado para isso. Então verifique a indexação no Search Console, confira o robots.txt para Googlebot e Google-Extended e depois faça ao Gemini as perguntas dos seus compradores e abra as fontes.
O Gemini não tem um crawler que você possa procurar nos logs, como acontece com outros assistentes. O Google rastreia com os crawlers que já tem, e um token no robots.txt decide o que o Gemini pode fazer com o conteúdo. Por isso a verificação é diferente: a maior parte acontece no Google Search Console e no seu robots.txt, e a última etapa acontece no próprio Gemini.
Neste artigo
- A verificação de 5 minutos, passo a passo
- Como o Gemini obtém informações de sites?
- Como verificar se o Google indexou minha página?
- O Google-Extended está impedindo o Gemini de usar meu site?
- Um firewall pode bloquear o Google e deixar os navegadores passarem?
- Como saber se o Gemini usa ou cita meu site?
- AI Overviews, AI Mode e regras de snippet afetam o Gemini?
- Como a AISeeWhy verifica isso?
A verificação de 5 minutos, passo a passo
- Pesquise no Google por
site:mais o endereço da sua página, ou use a inspeção de URL do Search Console, para confirmar que a página está no índice do Google. - Abra o seu robots.txt e confirme que o
Googlebotpode buscar a página e que oGoogle-Extendednão está bloqueado, a menos que você tenha optado por sair. - Faça uma verificação gratuita da página no AISeeWhy ou envie uma requisição com o user agent
Googlebot: ela precisa receber o status 200 e o mesmo texto que um navegador. - Faça ao Gemini uma pergunta que sua página responde e abra as fontes que ele mostra abaixo da resposta.
Se a página não está indexada, o grounding do Gemini não pode usá-la, então comece pelo passo 1. As seções abaixo explicam cada passo e o que fazer quando ele falha.
Como o Gemini obtém informações de sites?
A Central de Privacidade dos Apps Gemini diz que algumas respostas do Gemini têm grounding em resultados da Pesquisa. A documentação de crawlers do Google define grounding como fornecer ao modelo, no momento do prompt, conteúdo do índice da Pesquisa Google para melhorar a precisão e a relevância. A mesma página diz que o Google-Extended controla se o conteúdo que o Google rastreia pode ser usado para treinar modelos Gemini e para grounding nos Apps Gemini e no Grounding with Google Search da Vertex AI.
O Google-Extended não tem uma string de user agent própria. O Google diz que o rastreamento é feito com os user agents que já existem e que o token só funciona no robots.txt, como controle. Na prática, isso dá duas condições para o Gemini usar sua página: o Google precisa tê-la no índice, e o seu robots.txt não pode bloquear o Google-Extended para ela.
O Google não documenta como o Gemini escolhe quais páginas indexadas usar ou citar. Cumprir as duas condições deixa sua página disponível; não garante que o Gemini a escolha.
Como verificar se o Google indexou minha página?
Use a ferramenta de inspeção de URL do Google Search Console. Para a versão indexada, ela mostra:
- Se a página está indexada, ou um motivo como "O URL não é conhecido pelo Google".
- A data do último rastreamento e se o Google rastreou como visitante de computador ou de dispositivo móvel.
- Se a busca da página teve sucesso e se o robots.txt permitiu o rastreamento.
- A canônica declarada por você e a canônica escolhida pelo Google. Se forem diferentes, o Google trata a escolha dele como a versão oficial da página.
Testar URL publicado busca a página em tempo real, e Ver página testada mostra uma captura de tela e o HTML que o Google recebeu. Se a captura mostra uma página de desafio ou o HTML não tem o seu texto principal, o Google, e com ele o Gemini, não vê o seu conteúdo. Solicitar indexação pede ao Google para rastrear a URL de novo; o Google diz que isso costuma levar cerca de um dia, sem garantia de indexação.
O Google-Extended está impedindo o Gemini de usar meu site?
Abra o seu robots.txt e procure um grupo que cite Google-Extended. Um Disallow: / ali diz ao Google para não usar suas páginas no treinamento do Gemini nem para grounding nos Apps Gemini. O Google diz que o token não afeta a inclusão na Pesquisa Google e não é um sinal de ranking, por isso esse bloqueio passa despercebido com facilidade: o tráfego de busca parece normal enquanto o Gemini não consegue fazer grounding das respostas nas suas páginas. Nosso artigo sobre AI Overviews e Google-Extended explica o que o token controla e o que não controla na Pesquisa.
Como o token nunca aparece nas requisições, não dá para testá-lo com curl nem encontrá-lo nos logs. Ler o arquivo é a única verificação:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" A comparação não diferencia maiúsculas de minúsculas e, se nenhum grupo citar Google-Extended, vale para ele o grupo *. Muitos sites adicionaram esse bloqueio quando o treinamento de IA começou a ser discutido. No nosso estudo dos 1.000 domínios mais populares, 114 dos 518 sites com robots.txt citavam Google-Extended e 94 (18,1%) bloqueavam a página inicial para ele. Avalie se isso ainda corresponde ao que você quer, já que o bloqueio também cobre o grounding.
Um firewall pode bloquear o Google e deixar os navegadores passarem?
Sim. Se a proteção contra bots ou um limite de taxa responde aos crawlers do Google com um 403, um 429 ou uma página de desafio, o Google não consegue rastrear a página e, com o tempo, ela pode sair da Pesquisa e, junto, do grounding do Gemini. A inspeção de URL é o melhor teste aqui, porque o Google busca a página a partir dos próprios endereços; um teste com curl no seu computador mostra apenas como as suas regras tratam o user agent.
Para liberar o Google com segurança, verifique o visitante em vez de confiar no nome. O Google documenta uma busca DNS reversa seguida de uma busca direta e publica as faixas de IP dos seus crawlers comuns em common-crawlers.json:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Troque o endereço de exemplo por um dos seus logs. Se as duas buscas não baterem, a requisição só diz ser do Google.
Como saber se o Gemini usa ou cita meu site?
Faça ao Gemini as perguntas que seus compradores fazem, sem citar o seu site, e abra as fontes. A central de ajuda do Google diz que o botão Fontes aparece no fim de uma resposta ou no meio do texto e abre um painel de links relacionados que pode incluir sites públicos. Se não houver botão Fontes, o Gemini não forneceu links para aquela resposta, e o Google observa que nem todas as respostas os incluem. Anote quais domínios aparecem e repita as mesmas perguntas ao longo de algumas semanas.
Desenvolvedores podem fazer o mesmo teste pela API do Gemini com Grounding with Google Search. O Google diz que isso conecta o modelo a conteúdo da web em tempo real, e as respostas com grounding trazem citações com a URL e o título de cada fonte, então dá para ver se o seu domínio aparece. As respostas da API podem ser diferentes do que o app Gemini mostra.
Algumas buscas ligadas ao Gemini chegam, sim, ao seu servidor. O Google lista fetchers acionados por usuários, como o Google-GeminiNotebook, que solicita URLs que os usuários adicionam como fontes a um projeto do Gemini Notebook, e o Google-Agent, usado por agentes na infraestrutura do Google que agem a pedido de um usuário. O Google diz que esses fetchers geralmente ignoram o robots.txt porque foi um usuário que pediu a busca. As visitas deles mostram que pessoas abrem suas páginas por esses produtos; não são o caminho de grounding descrito acima.
AI Overviews, AI Mode e regras de snippet afetam o Gemini?
AI Overviews e AI Mode são recursos da Pesquisa Google com controles próprios. O Google lista nosnippet, data-nosnippet, max-snippet e noindex como formas de limitar o que é exibido das suas páginas. A documentação da meta tag robots diz que nosnippet também impede que o conteúdo seja usado como entrada direta para AI Overviews e AI Mode, e que max-snippet limita quanto pode ser usado. O Search Console também tem uma configuração de IA generativa da Pesquisa para o site todo, que pode excluir um site de AI Overviews, AI Mode e recursos de IA generativa no Discover.
Nenhuma dessas páginas menciona o app Gemini. Não presuma que uma regra de snippet ou a configuração do Search Console muda o grounding do Gemini, nem que o Google-Extended muda os AI Overviews. O noindex é a exceção: pela definição de grounding do Google, uma página fora do índice da Pesquisa não pode ser usada para isso. Para encontrar regras de snippet que você pode ter esquecido, confira o HTML e os cabeçalhos:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" Como a AISeeWhy verifica isso?
A verificação gratuita da AISeeWhy busca sua página como Googlebot e os outros crawlers de IA e de busca ao lado de um navegador real, aplica o seu robots.txt a cada um, incluindo o token Google-Extended, reconhece páginas de desafio e mostra quanto texto chega sem JavaScript. A verificação de visibilidade em IA, nos planos pagos, faz as suas perguntas pela API do Gemini com grounding na Pesquisa Google usando a sua própria chave e mostra se a sua marca ou o seu domínio é mencionado ou citado. Ela não consulta AI Overviews nem AI Mode.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificação de IP de crawlers de IA
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
Posso verificar de graça se o Gemini consegue ver meu site?
Sim. O Search Console, uma pesquisa com site:, o seu robots.txt e uma pergunta no Gemini não custam nada. A verificação gratuita do AISeeWhy testa o Googlebot, a regra do Google-Extended e outros 14 crawlers para uma página por dia.
O Gemini tem um crawler próprio?
Não para o grounding. O Google diz que o Google-Extended não tem string de user agent e que o rastreamento é feito com os crawlers que já existem. Fetchers separados, acionados por usuários, como o Google-GeminiNotebook e o Google-Agent, visitam páginas quando um usuário pede, e o Google diz que eles geralmente ignoram o robots.txt.
Se eu bloquear o Google-Extended, o Gemini ainda pode mencionar minha marca?
O Google diz que não usará o seu conteúdo para grounding nos Apps Gemini. Essa regra vale para as suas próprias páginas. O Google não diz nada sobre conteúdo de outros sites que escrevem sobre você, então o Gemini ainda pode citar sua marca a partir dessas fontes.
Quanto tempo até uma mudança no robots.txt chegar ao Gemini?
O Google não informa um prazo para o Gemini. A documentação de robots.txt diz que o Google geralmente mantém o arquivo em cache por até 24 horas, então espere pelo menos um dia antes de testar de novo, e mais para páginas que o Google raramente rastreia.
AI Overviews e Gemini usam as mesmas fontes?
O Google não documenta como os dois se relacionam. Ambos se baseiam no índice do Google, mas têm controles diferentes: regras de snippet e a configuração do Search Console para AI Overviews e AI Mode, e o Google-Extended para o grounding do Gemini. Verifique cada um separadamente.
Como acompanhar as respostas do Gemini ao longo do tempo?
Mantenha uma lista fixa de perguntas de compradores, faça essas perguntas ao Gemini em intervalos regulares e anote quais domínios aparecem nas fontes. A verificação de visibilidade em IA da AISeeWhy roda suas perguntas toda semana pela API do Gemini com grounding na Pesquisa Google e mostra as menções ao lado de até quatro concorrentes. Os resultados da API podem ser diferentes do app Gemini.
Fontes
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: Relatório de acesso de crawlers de IA, 2026-11