Kan Gemini se min webbplats? Så kollar du

Publicerad · Uppdaterad

Kort svar

Gemini kan bara använda din sida i ett grundat svar om sidan finns i Googles sökindex och din robots.txt inte nekar token Google-Extended. Google anger att grounding i Gemini-appen ger modellen innehåll från Google Söks index, och att Google-Extended styr om ditt innehåll får användas för det. Kontrollera därför indexeringen i Search Console, kontrollera robots.txt för Googlebot och Google-Extended, och ställ sedan dina köpares frågor till Gemini och öppna källorna.

Gemini har ingen crawler som du kan hålla utkik efter i loggarna på samma sätt som för andra assistenter. Google crawlar med sina befintliga crawlers, och en robots.txt-token avgör vad Gemini får göra med innehållet. Det gör kontrollen annorlunda: det mesta sker i Google Search Console och i din robots.txt, och det sista steget sker i Gemini självt.

På den här sidan
  1. 5-minuterskollen, steg för steg
  2. Hur får Gemini information från webbplatser?
  3. Hur kollar jag om Google har indexerat min sida?
  4. Hindrar Google-Extended Gemini från att använda min webbplats?
  5. Kan en brandvägg blockera Google medan webbläsare kommer igenom?
  6. Hur ser jag om Gemini använder eller citerar min webbplats?
  7. Påverkar AI-översikter, AI-läget och snippet-regler Gemini?
  8. Hur kontrollerar AISeeWhy det här?

5-minuterskollen, steg för steg

  1. Sök på Google efter site: plus din sidadress, eller använd URL-inspektion i Search Console, för att bekräfta att sidan finns i Googles index.
  2. Öppna din robots.txt och se till att Googlebot får hämta sidan och att Google-Extended inte är förbjuden, om du inte har valt att avstå.
  3. Kör en gratis kontroll av sidan på AISeeWhy eller skicka en förfrågan med user agent Googlebot: den måste få status 200 och samma text som en webbläsare.
  4. Ställ en fråga till Gemini som din sida besvarar och öppna källorna som visas under svaret.

Om sidan inte är indexerad kan Geminis grounding inte använda den, så börja med steg 1. Avsnitten nedan förklarar varje steg och vad du gör när det misslyckas.

Hur får Gemini information från webbplatser?

Googles Gemini Apps Privacy Hub anger att vissa Gemini-svar grundas på sökresultat. Googles dokumentation om crawlers definierar grounding som att modellen får innehåll från Google Söks index när frågan ställs, för att förbättra faktamässig korrekthet och relevans. Samma sida anger att Google-Extended styr om innehåll som Google crawlar får användas för att träna Gemini-modeller och för grounding i Gemini-apparna och i Grounding with Google Search på Vertex AI.

Google-Extended har ingen egen user agent-sträng. Google anger att crawlningen sker med dess befintliga user agents och att token bara fungerar i robots.txt, som en kontroll. I praktiken ger det två villkor för att Gemini ska kunna använda din sida: Google måste ha den i sitt index, och din robots.txt får inte neka den för Google-Extended.

Google dokumenterar inte hur Gemini väljer vilka indexerade sidor som används eller citeras. Om båda villkoren är uppfyllda är din sida tillgänglig, men det garanterar inte att Gemini väljer den.

Hur kollar jag om Google har indexerat min sida?

Använd verktyget för URL-granskning (URL Inspection) i Google Search Console. För den indexerade versionen visar det:

Test live URL hämtar sidan i realtid, och View tested page visar en skärmbild och den HTML som Google fick. Om skärmbilden visar en utmaningssida eller om HTML-koden saknar din huvudtext ser Google, och därmed Gemini, inte ditt innehåll. Request indexing ber Google att crawla URL:en igen; Google anger att det oftast tar ungefär en dag, utan garanti för indexering.

Hindrar Google-Extended Gemini från att använda min webbplats?

Öppna din robots.txt och leta efter en grupp som namnger Google-Extended. En Disallow: / där säger åt Google att inte använda dina sidor för träning av Gemini eller för grounding i Gemini-apparna. Google anger att token inte påverkar om du tas med i Google Sök och inte är en rankningssignal, så blockeringen är lätt att missa: söktrafiken ser normal ut medan Gemini inte kan grunda svar i dina sidor. Vår separata artikel om AI-översikter och Google-Extended går igenom vad token styr och inte styr i Sök.

Eftersom token aldrig syns i begäranden kan du inte testa den med curl eller hitta den i loggar. Att läsa filen är den enda kontrollen:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Matchningen tar ingen hänsyn till versaler och gemener, och om ingen grupp namnger Google-Extended gäller gruppen * för den. Många webbplatser lade till blockeringen när AI-träning först diskuterades. I vår studie av de 1 000 mest populära domänerna namngav 114 av de 518 webbplatserna med en robots.txt Google-Extended, och 94 (18,1 %) nekade den startsidan. Bestäm om det fortfarande stämmer med vad du vill, med tanke på att det också omfattar grounding.

Kan en brandvägg blockera Google medan webbläsare kommer igenom?

Ja. Om botskydd eller en hastighetsbegränsning svarar Googles crawlers med en 403, en 429 eller en utmaningssida kan Google inte crawla sidan, och med tiden kan den falla ur Sök och därmed ur Geminis grounding. URL-granskning är det bästa testet här, eftersom Google hämtar från sina egna adresser; ett curl-test från din dator visar bara hur dina regler behandlar user agent-namnet.

För att tillåta Google på ett säkert sätt verifierar du besökaren i stället för att lita på namnet. Google dokumenterar en omvänd DNS-uppslagning följd av en framåtriktad uppslagning, och publicerar IP-intervall för sina vanliga crawlers i common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Byt ut exempeladressen mot en från dina loggar. Om de två uppslagningarna inte stämmer överens utger sig begäran bara för att vara Google.

Hur ser jag om Gemini använder eller citerar min webbplats?

Ställ dina köpares frågor till Gemini, utan att nämna din webbplats, och öppna källorna. Googles hjälpcenter anger att knappen Sources visas längst ned i ett svar eller i texten och öppnar en panel med relaterade länkar som kan inkludera offentliga webbplatser. Om det inte finns någon Sources-knapp gav Gemini inga länkar för det svaret, och Google påpekar att inte alla svar har dem. Notera vilka domäner som visas och upprepa samma frågor under några veckor.

Utvecklare kan köra samma test via Gemini API med Grounding with Google Search. Google anger att det kopplar modellen till webbinnehåll i realtid, och grundade svar har källhänvisningar med URL och titel för varje källa, så du kan se om din domän förekommer. Svar via API:t kan skilja sig från det som Gemini-appen visar.

Vissa Gemini-relaterade hämtningar når faktiskt din server. Google listar hämtare som utlöses av användare, som Google-GeminiNotebook, som begär URL:er som användare lägger till som källor i ett Gemini Notebook-projekt, och Google-Agent, som används av agenter på Googles infrastruktur som agerar på en användares begäran. Google anger att dessa hämtare i allmänhet ignorerar robots.txt eftersom en användare bad om hämtningen. Deras besök visar att folk öppnar dina sidor via de produkterna; de är inte den grounding-väg som beskrivs ovan.

Påverkar AI-översikter, AI-läget och snippet-regler Gemini?

AI-översikter och AI-läget är funktioner i Google Sök med egna kontroller. Google listar nosnippet, data-nosnippet, max-snippet och noindex som sätt att begränsa vad som visas från dina sidor. Dess dokumentation om robots-metataggen anger att nosnippet också hindrar att innehåll används som direkt indata för AI-översikter och AI-läget, och att max-snippet begränsar hur mycket som får användas. Search Console har också en inställning för hela webbplatsen, Search generative AI, som kan utesluta en webbplats från AI-översikter, AI-läget och generativa AI-funktioner i Discover.

Ingen av dessa sidor nämner Gemini-appen. Anta inte att en snippet-regel eller inställningen i Search Console ändrar Geminis grounding, eller att Google-Extended ändrar AI-översikter. noindex är undantaget: enligt Googles definition av grounding kan en sida utanför sökindexet inte användas för det. För att hitta snippet-regler du kanske har glömt kontrollerar du HTML-koden och rubrikerna:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Hur kontrollerar AISeeWhy det här?

Den kostnadsfria kontrollen i AISeeWhy hämtar din sida som Googlebot och de andra AI- och sökcrawlerna bredvid en riktig webbläsare, tillämpar din robots.txt på var och en, inklusive token Google-Extended, känner igen utmaningssidor och visar hur mycket text som kommer fram utan JavaScript. Kontrollen av AI-synlighet, i de betalda planerna, ställer dina frågor via Gemini API med grounding i Google Sök och din egen nyckel och visar om ditt varumärke eller din domän nämns eller citeras. Den ställer inga frågor till AI-översikter eller AI-läget.

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Kan jag kontrollera gratis om Gemini kan se min webbplats?

Ja. Search Console, en site:-sökning, din robots.txt och en fråga i Gemini kostar ingenting. AISeeWhys gratiskontroll testar Googlebot, Google-Extended-regeln och 14 andra crawlers för en sida om dagen.

Har Gemini en egen crawler?

Inte för grounding. Google anger att Google-Extended saknar user agent-sträng och att crawlningen sker med de befintliga crawlerna. Separata hämtare som utlöses av användare, som Google-GeminiNotebook och Google-Agent, besöker sidor när en användare ber om det, och Google anger att de i allmänhet ignorerar robots.txt.

Om jag blockerar Google-Extended, kan Gemini ändå nämna mitt varumärke?

Google anger att det inte kommer att använda ditt innehåll för grounding i Gemini-apparna. Den regeln gäller dina egna sidor. Google säger ingenting om innehåll på andra webbplatser som skriver om dig, så Gemini kan fortfarande nämna ditt varumärke utifrån de källorna.

Hur lång tid tar det innan en ändring i robots.txt når Gemini?

Google anger ingen tid för Gemini. Dess dokumentation om robots.txt säger att Google i allmänhet cachar filen i upp till 24 timmar, så vänta minst en dag innan du testar igen, och längre för sidor som Google sällan crawlar om.

Använder AI-översikter och Gemini samma källor?

Google dokumenterar inte hur de hänger ihop. Båda bygger på Googles index, men de har olika kontroller: snippet-regler och inställningen i Search Console för AI-översikter och AI-läget, och Google-Extended för grounding i Gemini. Kontrollera dem var för sig.

Hur följer jag Geminis svar över tid?

Ha en fast lista med köparfrågor, ställ dem i Gemini enligt ett schema och notera vilka domäner som visas bland källorna. AISeeWhys kontroll av AI-synlighet kör dina frågor varje vecka via Gemini API med grounding i Google Sök och visar omnämnanden bredvid upp till fyra konkurrenter. Resultat från API:t kan skilja sig från Gemini-appen.

Källor

Fler artiklar