Kan Gemini se nettstedet mitt? Slik sjekker du

Publisert · Oppdatert

Kort svar

Gemini kan bare bruke siden din i et forankret svar hvis siden er i søkeindeksen til Google og robots.txt ikke forbyr tokenet Google-Extended. Google sier at forankring i Gemini-appen gir modellen innhold fra Google Søks indeks, og at Google-Extended styrer om innholdet ditt kan brukes til det. Sjekk derfor indekseringen i Search Console, sjekk robots.txt for Googlebot og Google-Extended, og still deretter Gemini spørsmålene kjøperne dine stiller og åpne kildene.

Gemini har ingen egen crawler du kan se etter i loggene slik du kan for andre assistenter. Google gjennomsøker med de crawlerne selskapet allerede har, og et robots.txt-token avgjør hva Gemini får gjøre med innholdet. Det gjør sjekken annerledes: det meste skjer i Google Search Console og i robots.txt, og det siste steget skjer i Gemini selv.

På denne siden
  1. 5-minutterssjekken, steg for steg
  2. Hvordan henter Gemini informasjon fra nettsteder?
  3. Hvordan sjekker jeg om Google har indeksert siden min?
  4. Hindrer Google-Extended Gemini i å bruke nettstedet mitt?
  5. Kan en brannmur blokkere Google mens nettlesere slipper gjennom?
  6. Hvordan ser jeg om Gemini bruker eller siterer nettstedet mitt?
  7. Påvirker AI-oversikter, AI-modus og regler for tekstutdrag Gemini?
  8. Hvordan sjekker AISeeWhy dette?

5-minutterssjekken, steg for steg

  1. Søk på Google etter site: pluss sideadressen din, eller bruk URL-inspeksjon i Search Console, for å bekrefte at siden er i Googles indeks.
  2. Åpne robots.txt-filen din og sørg for at Googlebot får hente siden og at Google-Extended ikke er forbudt, med mindre du har valgt å reservere deg.
  3. Kjør en gratis sjekk av siden på AISeeWhy, eller send én forespørsel med user agent Googlebot: den må få status 200 og den samme teksten som en nettleser.
  4. Still Gemini et spørsmål siden din svarer på, og åpne kildene den viser under svaret.

Hvis siden ikke er indeksert, kan ikke Geminis forankring bruke den, så start med steg 1. Seksjonene nedenfor forklarer hvert steg og hva du gjør når det feiler.

Hvordan henter Gemini informasjon fra nettsteder?

Googles Gemini Apps Privacy Hub sier at noen svar fra Gemini er forankret i søkeresultater. Googles crawlerdokumentasjon definerer forankring (grounding) som å gi modellen innhold fra Google Søks indeks når spørsmålet stilles, for å gjøre svarene mer faktariktige og relevante. Den samme siden sier at Google-Extended styrer om innhold Google gjennomsøker, kan brukes til å trene Gemini-modeller og til forankring i Gemini-appene og i Grounding with Google Search på Vertex AI.

Google-Extended har ingen egen user agent-streng. Google sier at gjennomsøkingen gjøres med de eksisterende user agentene, og at tokenet bare fungerer som en kontroll i robots.txt. I praksis gir det to vilkår for at Gemini skal kunne bruke siden din: Google må ha den i indeksen, og robots.txt må ikke forby Google-Extended for den.

Google dokumenterer ikke hvordan Gemini velger hvilke indekserte sider den bruker eller siterer. Å oppfylle begge vilkårene gjør siden tilgjengelig; det garanterer ikke at Gemini velger den.

Hvordan sjekker jeg om Google har indeksert siden min?

Bruk verktøyet URL Inspection i Google Search Console. For den indekserte versjonen viser det:

Test live URL henter siden i sanntid, og View tested page viser et skjermbilde og HTML-en Google mottok. Hvis skjermbildet viser en utfordringsside eller HTML-en mangler hovedteksten, ser ikke Google, og dermed heller ikke Gemini, innholdet ditt. Request indexing ber Google gjennomsøke URL-en på nytt; Google sier at det vanligvis tar omtrent et døgn, uten garanti for indeksering.

Hindrer Google-Extended Gemini i å bruke nettstedet mitt?

Åpne robots.txt og se etter en gruppe som nevner Google-Extended. En Disallow: / der ber Google om ikke å bruke sidene dine til Gemini-trening eller til forankring i Gemini-appene. Google sier at tokenet ikke påvirker om du er med i Google Søk og ikke er et rangeringssignal, så denne blokkeringen er lett å overse: søketrafikken ser normal ut, mens Gemini ikke kan forankre svar i sidene dine. Vår egen artikkel om AI-oversikter og Google-Extended forklarer hva tokenet styrer og ikke styrer i Søk.

Siden tokenet aldri dukker opp i forespørsler, kan du ikke teste det med curl eller finne det i loggene. Å lese filen er den eneste sjekken:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Matchingen skiller ikke mellom store og små bokstaver, og hvis ingen gruppe nevner Google-Extended, gjelder *-gruppen for det. Mange nettsteder la til denne blokkeringen da AI-trening først ble diskutert. I vår undersøkelse av de 1 000 mest populære domenene nevnte 114 av de 518 nettstedene med robots.txt Google-Extended, og 94 (18,1 %) forbød forsiden for det. Vurder om det fortsatt er det du vil, siden det også omfatter forankring.

Kan en brannmur blokkere Google mens nettlesere slipper gjennom?

Ja. Hvis botbeskyttelse eller en rategrense svarer Googles crawlere med 403, 429 eller en utfordringsside, kan ikke Google gjennomsøke siden, og over tid kan den falle ut av Søk og dermed også ut av forankringen i Gemini. URL Inspection er den beste testen her, fordi Google henter fra sine egne adresser; en curl-test fra datamaskinen din viser bare hvordan reglene dine behandler user agent-en.

For å tillate Google trygt bør du verifisere den besøkende i stedet for å stole på navnet. Google dokumenterer et omvendt DNS-oppslag etterfulgt av et vanlig oppslag, og publiserer IP-områder for de vanlige crawlerne sine i common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Bytt ut eksempeladressen med en fra loggene dine. Hvis de to oppslagene ikke stemmer overens, utgir forespørselen seg bare for å være Google.

Hvordan ser jeg om Gemini bruker eller siterer nettstedet mitt?

Still Gemini spørsmålene kjøperne dine stiller, uten å nevne nettstedet ditt, og åpne kildene. Googles hjelpesenter sier at Sources-knappen vises nederst i et svar eller i teksten, og åpner et panel med relaterte lenker som kan omfatte offentlige nettsteder. Er det ingen Sources-knapp, ga ikke Gemini lenker for det svaret, og Google påpeker at ikke alle svar har dem. Noter hvilke domener som dukker opp, og gjenta de samme spørsmålene over noen uker.

Utviklere kan kjøre den samme testen gjennom Gemini API med Grounding with Google Search. Google sier at det kobler modellen til nettinnhold i sanntid, og forankrede svar har kildehenvisninger med URL og tittel for hver kilde, så du kan sjekke om domenet ditt er med. Svar fra API-et kan avvike fra det Gemini-appen viser.

Noen Gemini-relaterte hentinger når faktisk serveren din. Google lister brukerutløste hentere som Google-GeminiNotebook, som henter URL-er brukere legger til som kilder i et Gemini Notebook-prosjekt, og Google-Agent, som brukes av agenter på Googles infrastruktur som handler på oppdrag fra en bruker. Google sier at disse henterne vanligvis ignorerer robots.txt fordi det er en bruker som har bedt om hentingen. Besøkene deres viser at folk åpner sidene dine gjennom de produktene; de er ikke forankringsveien beskrevet over.

Påvirker AI-oversikter, AI-modus og regler for tekstutdrag Gemini?

AI-oversikter og AI-modus er funksjoner i Google Søk med egne kontroller. Google oppgir nosnippet, data-nosnippet, max-snippet og noindex som måter å begrense hva som vises fra sidene dine. Dokumentasjonen for robots-metataggen sier at nosnippet også hindrer at innhold brukes som direkte input for AI-oversikter og AI-modus, og at max-snippet begrenser hvor mye som kan brukes. Search Console har i tillegg innstillingen Search generative AI for hele nettstedet, som kan utelate et nettsted fra AI-oversikter, AI-modus og generative AI-funksjoner i Discover.

Ingen av disse sidene nevner Gemini-appen. Ikke anta at en regel for tekstutdrag eller innstillingen i Search Console endrer forankringen i Gemini, eller at Google-Extended endrer AI-oversikter. noindex er unntaket: etter Googles definisjon av forankring kan en side utenfor søkeindeksen ikke brukes til det. For å finne regler for tekstutdrag du kanskje har glemt, sjekker du HTML-en og headerne:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Hvordan sjekker AISeeWhy dette?

Den gratis AISeeWhy-sjekken henter siden din som Googlebot og de andre AI- og søkecrawlerne ved siden av en ekte nettleser, anvender robots.txt for hver av dem, inkludert tokenet Google-Extended, gjenkjenner utfordringssider og viser hvor mye tekst som kommer frem uten JavaScript. AI-synlighet, i prøveperioden og de betalte planene, stiller spørsmålene dine gjennom Gemini API med forankring i Google Søk og din egen nøkkel, og viser om merkevaren eller domenet ditt nevnes eller siteres. Den spør ikke AI-oversikter eller AI-modus.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Kan jeg sjekke gratis om Gemini kan se nettstedet mitt?

Ja. Search Console, et site:-søk, robots.txt-filen din og et spørsmål i Gemini koster ingenting. AISeeWhys gratis sjekk tester Googlebot, Google-Extended-regelen og 14 andre crawlere for én side om dagen.

Har Gemini sin egen crawler?

Ikke for forankring. Google sier at Google-Extended ikke har noen user agent-streng, og at gjennomsøkingen gjøres med de eksisterende crawlerne. Egne brukerutløste hentere som Google-GeminiNotebook og Google-Agent besøker sider når en bruker ber om det, og Google sier at de vanligvis ignorerer robots.txt.

Hvis jeg blokkerer Google-Extended, kan Gemini fortsatt nevne merkevaren min?

Google sier at selskapet ikke vil bruke innholdet ditt til forankring i Gemini-appene. Den regelen gjelder dine egne sider. Google sier ingenting om innhold på andre nettsteder som skriver om deg, så Gemini kan fortsatt nevne merkevaren din ut fra slike kilder.

Hvor lang tid tar det før en endring i robots.txt når Gemini?

Google oppgir ingen tid for Gemini. Robots.txt-dokumentasjonen sier at Google vanligvis bufrer filen i opptil 24 timer, så vent minst ett døgn før du tester på nytt, og lenger for sider Google sjelden gjennomsøker på nytt.

Bruker AI-oversikter og Gemini de samme kildene?

Google dokumenterer ikke hvordan de to henger sammen. Begge bygger på Googles indeks, men de har ulike kontroller: regler for tekstutdrag og innstillingen i Search Console for AI-oversikter og AI-modus, og Google-Extended for forankring i Gemini. Sjekk dem hver for seg.

Hvordan følger jeg med på Gemini-svar over tid?

Ha en fast liste med kjøperspørsmål, still dem i Gemini etter en plan og noter hvilke domener som dukker opp i kildene. AI-synlighet i AISeeWhy kjører spørsmålene dine ukentlig gjennom Gemini API med forankring i Google Søk og viser omtaler ved siden av opptil fire konkurrenter. Resultater fra API-et kan avvike fra Gemini-appen.

Kilder

Flere artikler