Googlebot

Google · Søkemotor

Googlebot er Googles hovedcrawler for å bygge søkeindeksene. Google sier at robots.txt-regler for Googlebot styrer hvordan et nettsted crawles for Søk, også for AI-funksjoner som AI Overviews og AI Mode. Å blokkere den fjerner sidene dine fra Google Søk og disse AI-svarene.

Hva den gjør

Googlebot brukes til å finne informasjon som bygger Googles søkeindekser. Crawling-preferanser rettet mot Googlebot-tokenet påvirker Google Søk og produkter som Google Images, Video, Google News og Discover. Den kjører som smarttelefon- og desktop-crawler; begge følger de samme Googlebot-reglene, og Google sier at de vanlige crawlerne alltid følger robots.txt ved automatisk crawling.

Googles dokumentasjon om AI-funksjoner beskriver Googlebot-regler som kontrollen for Søk, også AI Overviews og AI Mode, og peker på nosnippet, data-nosnippet, max-snippet og noindex for å begrense det som vises. Bruk til Gemini-trening styres separat av Google-Extended.

I undersøkelsen vår fra 2026-11 blokkerte 2.7% av de populære nettstedene med robots.txt den. →

robots.txt-token

Googlebot

User agent-streng

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Slik tillater du den

User-agent: Googlebot
Allow: /

Slik blokkerer du den

User-agent: Googlebot
Disallow: /

Slik verifiserer du ekte besøk

Google sier at user agent-strenger kan forfalskes, og anbefaler en DNS-sjekk i to trinn. Gjør et omvendt DNS-oppslag på IP-en som sendte forespørselen: vertsnavnet skal ende på googlebot.com, google.com eller googleusercontent.com. Gjør deretter et vanlig oppslag på det vertsnavnet og bekreft at det gir samme IP. Google publiserer også IP-områdene til de vanlige crawlerne sine som JSON, så du kan matche adresser automatisk.

Sjekk om nettstedet ditt slipper den inn →

AEO eller SEO: hva som er likt, og hva som endrer seg for AI-svar →