Googlebot

Google · Cercador

Googlebot és el rastrejador principal de Google per construir els seus índexs de cerca. Google diu que les regles de robots.txt per a Googlebot són el control de com es rastreja un lloc per a la Cerca, incloses funcions d'IA com AI Overviews i el mode IA. Bloquejar-lo treu les teves pàgines de la Cerca de Google i d'aquestes respostes d'IA.

Com permetre'l

User-agent: Googlebot
Allow: /

Com bloquejar-lo

User-agent: Googlebot
Disallow: /

Què fa

Googlebot serveix per trobar informació per construir els índexs de cerca de Google. Les preferències de rastreig adreçades al token Googlebot afecten la Cerca de Google i productes com Google Imatges, Vídeos, Google News i Discover. Funciona com a rastrejador per a mòbil i per a ordinador; tots dos segueixen les mateixes regles de Googlebot, i Google diu que els seus rastrejadors comuns sempre respecten robots.txt quan rastregen automàticament.

La documentació de Google sobre les funcions d'IA descriu les regles de Googlebot com el control per a la Cerca, incloses AI Overviews i el mode IA, i remet a nosnippet, data-nosnippet, max-snippet i noindex per limitar el que es mostra. L'ús per entrenar Gemini es controla per separat amb Google-Extended.

Al nostre estudi de 2026-11, el 2.7% dels llocs populars amb robots.txt el bloquejaven. →

Token de robots.txt

Googlebot

Cadena del user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Com verificar les visites reals

Google diu que les cadenes de user agent es poden falsificar i recomana una comprovació DNS en dos passos. Fes una consulta DNS inversa de la IP que fa la petició: el nom de host ha d'acabar en googlebot.com, google.com o googleusercontent.com. Després fes una consulta directa d'aquest nom de host i confirma que retorna la mateixa IP. Google també publica en JSON els rangs d'IP dels seus rastrejadors comuns, perquè puguis comparar les adreces automàticament.

Comprova si el teu lloc el deixa entrar →

AEO i SEO: què és igual i què canvia per a les respostes d'IA →