Kan Gemini se mit website? Sådan tjekker du det

Udgivet · Opdateret

Kort svar

Gemini kan kun bruge din side i et forankret svar (grounding), hvis siden er i Googles søgeindeks, og din robots.txt ikke forbyder tokenet Google-Extended. Ifølge Google giver grounding i Gemini-appen modellen indhold fra Google Søgnings indeks, og Google-Extended styrer, om dit indhold må bruges til det. Så tjek indekseringen i Search Console, tjek robots.txt for Googlebot og Google-Extended, og stil derefter Gemini dine kunders spørgsmål og åbn dens kilder.

Gemini har ikke en crawler, du kan holde øje med i dine logs, sådan som du kan for andre assistenter. Google crawler med sine eksisterende crawlere, og et robots.txt-token afgør, hvad Gemini må gøre med indholdet. Derfor er tjekket anderledes: det meste foregår i Google Search Console og i din robots.txt, og det sidste trin foregår i Gemini selv.

På denne side
  1. 5-minutters tjekket, trin for trin
  2. Hvordan får Gemini information fra websites?
  3. Hvordan tjekker jeg, om Google har indekseret min side?
  4. Forhindrer Google-Extended Gemini i at bruge mit site?
  5. Kan en firewall blokere Google, mens browsere slipper igennem?
  6. Hvordan ser jeg, om Gemini bruger eller citerer mit site?
  7. Påvirker AI Overviews, AI Mode og snippetregler Gemini?
  8. Hvordan tjekker AISeeWhy det her?

5-minutters tjekket, trin for trin

  1. Søg på Google efter site: plus din sideadresse, eller brug URL-inspektion i Search Console, for at bekræfte, at siden er i Googles indeks.
  2. Åbn din robots.txt, og sørg for, at Googlebot må hente siden, og at Google-Extended ikke er forbudt, medmindre du selv har valgt det fra.
  3. Kør et gratis tjek af siden på AISeeWhy, eller send én anmodning med user agent Googlebot: den skal få status 200 og den samme tekst som en browser.
  4. Stil Gemini et spørgsmål, som din side besvarer, og åbn de kilder, den viser under svaret.

Er siden ikke indekseret, kan Geminis grounding ikke bruge den, så start med trin 1. Afsnittene nedenfor forklarer hvert trin, og hvad du skal gøre, når det fejler.

Hvordan får Gemini information fra websites?

Googles privatlivscenter for Gemini-apps siger, at nogle Gemini-svar er forankret i søgeresultater. Googles crawlerdokumentation definerer grounding som at give modellen indhold fra Google Søgnings indeks i det øjeblik, prompten sendes, for at forbedre faktuel korrekthed og relevans. Den samme side siger, at Google-Extended styrer, om indhold, som Google crawler, må bruges til at træne Gemini-modeller og til grounding i Gemini-apps og i Grounding with Google Search på Vertex AI.

Google-Extended har ingen user agent-streng. Ifølge Google foregår crawlingen med de eksisterende user agents, og tokenet virker kun i robots.txt som en styring. I praksis giver det to betingelser for, at Gemini kan bruge din side: Google skal have den i sit indeks, og din robots.txt må ikke forbyde Google-Extended for den.

Google dokumenterer ikke, hvordan Gemini vælger, hvilke indekserede sider den bruger eller citerer. Når begge betingelser er opfyldt, er din side tilgængelig; det garanterer ikke, at Gemini vælger den.

Hvordan tjekker jeg, om Google har indekseret min side?

Brug værktøjet Webadresseinspektion i Google Search Console. For den indekserede version viser det:

Test live-webadresse henter siden i realtid, og Se testet side viser et skærmbillede og den HTML, Google modtog. Hvis skærmbilledet er en udfordringsside, eller HTML'en mangler din hovedtekst, ser Google, og dermed Gemini, ikke dit indhold. Anmod om indeksering beder Google om at crawle URL'en igen; ifølge Google tager det som regel omkring en dag, uden garanti for indeksering.

Forhindrer Google-Extended Gemini i at bruge mit site?

Åbn din robots.txt, og kig efter en gruppe, der nævner Google-Extended. En Disallow: / der fortæller Google, at dine sider ikke må bruges til træning af Gemini eller til grounding i Gemini-apps. Ifølge Google påvirker tokenet ikke medtagelse i Google Søgning og er ikke et rangeringssignal, så denne blokering er let at overse: din søgetrafik ser normal ud, mens Gemini ikke kan forankre svar i dine sider. Vores separate artikel om AI Overviews og Google-Extended beskriver, hvad tokenet styrer i Søgning, og hvad det ikke styrer.

Fordi tokenet aldrig optræder i anmodninger, kan du ikke teste det med curl eller finde det i logs. At læse filen er det eneste tjek:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Der skelnes ikke mellem store og små bogstaver, og hvis ingen gruppe nævner Google-Extended, gælder gruppen * for det. Mange sites tilføjede denne blokering, da AI-træning først blev diskuteret. I vores undersøgelse af de 1.000 mest populære domæner nævnte 114 af de 518 sites med en robots.txt Google-Extended, og 94 (18,1 %) forbød deres forside for det. Overvej, om det stadig passer med det, du vil, når blokeringen også dækker grounding.

Kan en firewall blokere Google, mens browsere slipper igennem?

Ja. Hvis botbeskyttelse eller en hastighedsbegrænsning svarer Googles crawlere med en 403, en 429 eller en udfordringsside, kan Google ikke crawle siden, og med tiden kan den falde ud af Søgning og dermed ud af Geminis grounding. Webadresseinspektion er den bedste test her, fordi Google henter fra sine egne adresser; en curl-test fra din computer viser kun, hvordan dine regler behandler user agenten.

For at tillade Google sikkert skal du verificere den besøgende i stedet for at stole på navnet. Google dokumenterer et omvendt DNS-opslag efterfulgt af et fremadrettet opslag og offentliggør IP-intervaller for sine almindelige crawlere i common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Erstat eksempeladressen med en fra dine logs. Hvis de to opslag ikke stemmer overens, udgiver anmodningen sig kun for at være Google.

Hvordan ser jeg, om Gemini bruger eller citerer mit site?

Stil Gemini de spørgsmål, dine kunder stiller, uden at nævne dit site, og åbn kilderne. Ifølge Googles hjælpecenter vises knappen Kilder nederst i et svar eller inde i teksten og åbner et panel med relaterede links, som kan omfatte offentlige websites. Er der ingen Kilder-knap, har Gemini ikke givet links til det svar, og Google bemærker, at ikke alle svar indeholder dem. Notér, hvilke domæner der dukker op, og gentag de samme spørgsmål over et par uger.

Udviklere kan køre den samme test via Gemini API med Grounding with Google Search. Ifølge Google forbinder det modellen med webindhold i realtid, og forankrede svar har kildehenvisninger med URL og titel for hver kilde, så du kan tjekke, om dit domæne optræder. API-svar kan afvige fra det, Gemini-appen viser.

Nogle hentninger med tilknytning til Gemini når faktisk din server. Google nævner brugerudløste fetchere som Google-GeminiNotebook, der henter URL'er, som brugere tilføjer som kilder i et Gemini Notebook-projekt, og Google-Agent, som bruges af agenter på Googles infrastruktur, der handler på en brugers anmodning. Ifølge Google ignorerer disse fetchere generelt robots.txt, fordi en bruger har bedt om hentningen. Deres besøg viser, at folk åbner dine sider gennem de produkter; de er ikke den vej til grounding, der er beskrevet ovenfor.

Påvirker AI Overviews, AI Mode og snippetregler Gemini?

AI Overviews og AI Mode er funktioner i Google Søgning med deres egne styringer. Google nævner nosnippet, data-nosnippet, max-snippet og noindex som måder at begrænse, hvad der vises fra dine sider. Dokumentationen til robots-metatagget siger, at nosnippet også forhindrer, at indhold bruges som direkte input til AI Overviews og AI Mode, og at max-snippet begrænser, hvor meget der må bruges. Search Console har desuden en indstilling for generativ AI i Søgning for hele sitet, som kan udelukke et site fra AI Overviews, AI Mode og funktioner med generativ AI i Discover.

Ingen af disse sider nævner Gemini-appen. Gå ikke ud fra, at en snippetregel eller indstillingen i Search Console ændrer Geminis grounding, eller at Google-Extended ændrer AI Overviews. noindex er undtagelsen: ifølge Googles definition af grounding kan en side uden for søgeindekset ikke bruges til det. For at finde snippetregler, du måske har glemt, skal du tjekke HTML'en og headerne:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Hvordan tjekker AISeeWhy det her?

Det gratis AISeeWhy-tjek henter din side som Googlebot og de andre AI- og søgecrawlere ved siden af en rigtig browser, anvender din robots.txt på hver af dem, også tokenet Google-Extended, genkender udfordringssider og viser, hvor meget tekst der kommer frem uden JavaScript. AI-synlighedstjekket i de betalte planer stiller dine spørgsmål via Gemini API med grounding i Google Søgning på din egen nøgle og viser, om dit brand eller domæne bliver nævnt eller citeret. Det forespørger ikke AI Overviews eller AI Mode.

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Ofte stillede spørgsmål

Kan jeg gratis tjekke, om Gemini kan se mit site?

Ja. Search Console, en site:-søgning, din robots.txt og et spørgsmål i Gemini koster intet. AISeeWhys gratis tjek tester Googlebot, Google-Extended-reglen og 14 andre crawlere for én side om dagen.

Har Gemini sin egen crawler?

Ikke til grounding. Ifølge Google har Google-Extended ingen user agent-streng, og crawlingen foregår med de eksisterende crawlere. Separate brugerudløste fetchere som Google-GeminiNotebook og Google-Agent besøger sider, når en bruger beder om det, og ifølge Google ignorerer de generelt robots.txt.

Kan Gemini stadig nævne mit brand, hvis jeg blokerer Google-Extended?

Ifølge Google bruger den så ikke dit indhold til grounding i Gemini-apps. Den regel dækker dine egne sider. Google siger intet om indhold på andre websites, der skriver om dig, så Gemini kan stadig nævne dit brand ud fra de kilder.

Hvor lang tid går der, før en robots.txt-ændring når Gemini?

Google angiver ingen tid for Gemini. Ifølge dokumentationen til robots.txt cacher Google generelt filen i op til 24 timer, så giv det mindst en dag, før du tester igen, og længere for sider, Google sjældent crawler igen.

Bruger AI Overviews og Gemini de samme kilder?

Google dokumenterer ikke, hvordan de to hænger sammen. Begge trækker på Googles indeks, men de har forskellige styringer: snippetregler og indstillingen i Search Console for AI Overviews og AI Mode, og Google-Extended for Geminis grounding. Tjek dem hver for sig.

Hvordan følger jeg Geminis svar over tid?

Hav en fast liste med kundespørgsmål, stil dem i Gemini efter en fast plan, og notér, hvilke domæner der optræder i kilderne. AI-synlighedstjekket i AISeeWhy stiller dine spørgsmål hver uge via Gemini API med grounding i Google Søgning og viser omtaler ved siden af op til fire konkurrenter. Resultater fra API'et kan afvige fra Gemini-appen.

Kilder

Flere artikler