Gemini pot veure el meu lloc web? Com comprovar-ho

Publicat · Actualitzat

Resposta breu

Gemini només pot fer servir la teva pàgina en una resposta fonamentada si la pàgina és a l'índex de la Cerca de Google i el robots.txt no bloqueja el token Google-Extended. Google diu que la fonamentació (grounding) a l'aplicació Gemini dona al model contingut de l'índex de la Cerca de Google, i que Google-Extended controla si el teu contingut es pot fer servir per a això. Així que comprova la indexació a Search Console, revisa el robots.txt per a Googlebot i Google-Extended, i després fes a Gemini les preguntes dels teus compradors i obre'n les fonts.

Gemini no té un rastrejador que puguis buscar als registres com passa amb altres assistents. Google rastreja amb els seus rastrejadors de sempre, i un token del robots.txt decideix què pot fer Gemini amb el contingut. Per això la comprovació és diferent: la major part es fa a Google Search Console i al robots.txt, i l'últim pas es fa al mateix Gemini.

En aquesta pàgina
  1. La comprovació de 5 minuts, pas a pas
  2. Com obté Gemini informació dels llocs web?
  3. Com comprovo si Google ha indexat la meva pàgina?
  4. Google-Extended impedeix que Gemini faci servir el meu lloc?
  5. Un tallafoc pot bloquejar Google mentre els navegadors hi accedeixen?
  6. Com puc veure si Gemini fa servir o cita el meu lloc?
  7. Els AI Overviews, l'AI Mode i les regles de fragments afecten Gemini?
  8. Com ho comprova AISeeWhy?

La comprovació de 5 minuts, pas a pas

  1. Cerca a Google site: seguit de l'adreça de la teva pàgina, o fes servir la inspecció d'URL de Search Console, per confirmar que la pàgina és a l'índex de Google.
  2. Obre el teu robots.txt i assegura't que Googlebot pot obtenir la pàgina i que Google-Extended no està prohibit, tret que hagis decidit excloure-te'n.
  3. Fes una comprovació gratuïta de la pàgina a AISeeWhy o envia una petició amb el user agent Googlebot: ha de rebre l'estat 200 i el mateix text que un navegador.
  4. Fes a Gemini una pregunta que respongui la teva pàgina i obre les fonts que mostra sota la resposta.

Si la pàgina no està indexada, el grounding de Gemini no la pot fer servir, així que comença pel pas 1. Les seccions següents expliquen cada pas i què cal fer quan falla.

Com obté Gemini informació dels llocs web?

El Centre de privadesa de les aplicacions de Gemini de Google diu que algunes respostes de Gemini es fonamenten en resultats de la Cerca. La documentació de Google sobre rastrejadors defineix la fonamentació (grounding) com proporcionar al model contingut de l'índex de la Cerca de Google en el moment de la petició, per millorar la precisió i la rellevància. La mateixa pàgina diu que Google-Extended controla si el contingut que rastreja Google es pot fer servir per entrenar els models Gemini i per a la fonamentació a les aplicacions de Gemini i a Grounding with Google Search de Vertex AI.

Google-Extended no té cap cadena de user agent pròpia. Google diu que el rastreig es fa amb els seus user agents de sempre, i el token només funciona al robots.txt com a control. A la pràctica, això dona dues condicions perquè Gemini faci servir la teva pàgina: Google l'ha de tenir a l'índex, i el robots.txt no ha de bloquejar Google-Extended per a aquella pàgina.

Google no documenta com tria Gemini quines pàgines indexades fa servir o cita. Complir les dues condicions fa que la pàgina estigui disponible; no garanteix que Gemini la triï.

Com comprovo si Google ha indexat la meva pàgina?

Fes servir l'eina d'inspecció d'URL de Google Search Console. Per a la versió indexada mostra:

La prova de l'URL publicat obté la pàgina en temps real, i Mostra la pàgina provada mostra una captura de pantalla i l'HTML que ha rebut Google. Si la captura és una pàgina de desafiament o a l'HTML hi falta el text principal, Google, i amb ell Gemini, no veu el teu contingut. Sol·licita la indexació demana a Google que torni a rastrejar l'URL; Google diu que normalment triga aproximadament un dia, sense cap garantia d'indexació.

Google-Extended impedeix que Gemini faci servir el meu lloc?

Obre el robots.txt i busca un grup que anomeni Google-Extended. Un Disallow: / en aquest grup diu a Google que no faci servir les teves pàgines per entrenar Gemini ni per a la fonamentació a les aplicacions de Gemini. Google diu que el token no afecta la inclusió a la Cerca de Google i no és un senyal de classificació, així que aquest bloqueig passa desapercebut fàcilment: el trànsit de cerca sembla normal mentre Gemini no pot fonamentar respostes en les teves pàgines. El nostre article sobre AI Overviews i Google-Extended explica què controla el token a la Cerca i què no.

Com que el token no apareix mai a les peticions, no el pots provar amb curl ni trobar-lo als registres. Llegir el fitxer és l'única comprovació:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

La coincidència no distingeix majúscules i minúscules, i si cap grup no anomena Google-Extended, s'hi aplica el grup *. Molts llocs van afegir aquest bloqueig quan es va començar a parlar de l'entrenament d'IA. En el nostre estudi dels 1.000 dominis més populars, 114 dels 518 llocs amb robots.txt anomenaven Google-Extended i 94 (18,1%) hi bloquejaven la pàgina d'inici. Decideix si això encara és el que vols, tenint en compte que també cobreix la fonamentació.

Un tallafoc pot bloquejar Google mentre els navegadors hi accedeixen?

Sí. Si la protecció contra bots o un límit de freqüència respon als rastrejadors de Google amb un 403, un 429 o una pàgina de desafiament, Google no pot rastrejar la pàgina i, amb el temps, pot desaparèixer de la Cerca i, per tant, de la fonamentació de Gemini. La inspecció d'URL és la millor prova aquí, perquè Google obté la pàgina des de les seves pròpies adreces; una prova amb curl des del teu ordinador només mostra com tracten el user agent les teves regles.

Per permetre Google amb seguretat, verifica el visitant en lloc de confiar en el nom. Google documenta una cerca DNS inversa seguida d'una cerca directa, i publica els rangs d'IP dels seus rastrejadors comuns a common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Substitueix l'adreça d'exemple per una dels teus registres. Si les dues cerques no coincideixen, la petició només afirma que és de Google.

Com puc veure si Gemini fa servir o cita el meu lloc?

Fes a Gemini les preguntes que fan els teus compradors, sense anomenar el teu lloc, i obre les fonts. El centre d'ajuda de Google diu que el botó Fonts apareix al final d'una resposta o dins del text, i obre un tauler d'enllaços relacionats que pot incloure llocs web públics. Si no hi ha botó Fonts, Gemini no ha donat enllaços per a aquella resposta, i Google adverteix que no totes les respostes en tenen. Anota quins dominis apareixen i repeteix les mateixes preguntes durant unes quantes setmanes.

Els desenvolupadors poden fer la mateixa prova amb la Gemini API i Grounding with Google Search. Google diu que connecta el model amb contingut web en temps real, i les respostes fonamentades porten cites amb la URL i el títol de cada font, així que pots comprovar si hi apareix el teu domini. Les respostes de l'API poden ser diferents del que mostra l'aplicació Gemini.

Algunes peticions relacionades amb Gemini sí que arriben al teu servidor. Google llista agents activats per l'usuari com Google-GeminiNotebook, que demana les URL que els usuaris afegeixen com a fonts en un projecte de Gemini Notebook, i Google-Agent, que fan servir els agents de la infraestructura de Google que actuen a petició d'un usuari. Google diu que aquests agents generalment ignoren el robots.txt perquè ha estat un usuari qui ha demanat l'obtenció. Les seves visites mostren que la gent obre les teves pàgines a través d'aquests productes; no són el camí de fonamentació descrit més amunt.

Els AI Overviews, l'AI Mode i les regles de fragments afecten Gemini?

Els AI Overviews i l'AI Mode són funcions de la Cerca de Google amb controls propis. Google llista nosnippet, data-nosnippet, max-snippet i noindex com a maneres de limitar què es mostra de les teves pàgines. La seva documentació de l'etiqueta meta robots diu que nosnippet també impedeix que el contingut es faci servir com a entrada directa per als AI Overviews i l'AI Mode, i que max-snippet limita quant se'n pot fer servir. Search Console també té una opció de IA generativa a la Cerca per a tot el lloc que pot excloure un lloc dels AI Overviews, de l'AI Mode i de les funcions d'IA generativa de Discover.

Cap d'aquestes pàgines no esmenta l'aplicació Gemini. No donis per fet que una regla de fragments o l'opció de Search Console canviï la fonamentació de Gemini, ni que Google-Extended canviï els AI Overviews. noindex és l'excepció: segons la definició de fonamentació de Google, una pàgina fora de l'índex de la Cerca no s'hi pot fer servir. Per trobar regles de fragments que potser t'havies oblidat, revisa l'HTML i les capçaleres:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Com ho comprova AISeeWhy?

La comprovació gratuïta d'AISeeWhy obté la teva pàgina com a Googlebot i els altres rastrejadors d'IA i de cerca al costat d'un navegador real, aplica el teu robots.txt a cadascun, inclòs el token Google-Extended, reconeix les pàgines de desafiament i mostra quant text arriba sense JavaScript. La comprovació Visibilitat a la IA, a la prova i als plans de pagament, fa les teves preguntes amb la Gemini API i la fonamentació amb la Cerca de Google amb la teva pròpia clau, i mostra si la teva marca o el teu domini s'esmenta o se cita. No consulta els AI Overviews ni l'AI Mode.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Puc comprovar gratis si Gemini pot veure el meu lloc?

Sí. Search Console, una cerca site:, el teu robots.txt i una pregunta a Gemini no costen res. La comprovació gratuïta d'AISeeWhy prova Googlebot, la regla Google-Extended i 14 rastrejadors més per a una pàgina al dia.

Gemini té un rastrejador propi?

No per a la fonamentació. Google diu que Google-Extended no té cadena de user agent i que el rastreig es fa amb els seus rastrejadors de sempre. Altres agents activats per l'usuari, com Google-GeminiNotebook i Google-Agent, visiten pàgines quan un usuari ho demana, i Google diu que generalment ignoren el robots.txt.

Si bloquejo Google-Extended, Gemini pot continuar esmentant la meva marca?

Google diu que no farà servir el teu contingut per a la fonamentació a les aplicacions de Gemini. Aquesta regla cobreix les teves pròpies pàgines. Google no diu res del contingut d'altres llocs que escriuen sobre tu, així que Gemini encara pot anomenar la teva marca a partir d'aquestes fonts.

Quant triga un canvi al robots.txt a arribar a Gemini?

Google no dona cap termini per a Gemini. La seva documentació del robots.txt diu que Google normalment desa el fitxer en memòria cau fins a 24 hores, així que deixa passar com a mínim un dia abans de tornar a provar, i més per a pàgines que Google rastreja poc.

Els AI Overviews i Gemini fan servir les mateixes fonts?

Google no documenta com es relacionen. Tots dos beuen de l'índex de Google, però tenen controls diferents: les regles de fragments i l'opció de Search Console per als AI Overviews i l'AI Mode, i Google-Extended per a la fonamentació de Gemini. Comprova'ls per separat.

Com faig el seguiment de les respostes de Gemini al llarg del temps?

Tingues una llista fixa de preguntes de compradors, fes-les a Gemini de manera periòdica i anota quins dominis apareixen a les fonts. La comprovació Visibilitat a la IA d'AISeeWhy fa les teves preguntes cada setmana amb la Gemini API i la fonamentació amb la Cerca de Google, i mostra les mencions al costat de fins a quatre competidors. Els resultats de l'API poden ser diferents dels de l'aplicació Gemini.

Fonts

Més articles