Googlebot

Google · Søgemaskine

Googlebot er Googles primære crawler til opbygning af søgeindeks. Google siger, at robots.txt-regler for Googlebot er kontrollen for, hvordan et website gennemgås til Søgning, herunder AI-funktioner som AI Overviews og AI Mode. Hvis du blokerer den, fjernes dine sider fra Google Søgning og disse AI-svar.

Hvad den gør

Googlebot bruges til at finde oplysninger til opbygning af Googles søgeindeks. Præferencer for gennemgang, der er rettet til tokenet Googlebot, påvirker Google Søgning og produkter som Google Billeder, Video, Google News og Discover. Den kører som en smartphone-crawler og en desktop-crawler; begge følger de samme Googlebot-regler, og Google siger, at dets almindelige crawlere altid overholder robots.txt ved automatisk gennemgang.

Googles dokumentation om AI-funktioner beskriver Googlebot-regler som kontrollen for Søgning, herunder AI Overviews og AI Mode, og peger på nosnippet, data-nosnippet, max-snippet og noindex til at begrænse, hvad der vises. Brug til Gemini-træning styres separat af Google-Extended.

I vores undersøgelse fra 2026-11 blokerede 2.7% af populære websites med en robots.txt den. →

robots.txt-token

Googlebot

User agent-streng

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Sådan tillader du den

User-agent: Googlebot
Allow: /

Sådan blokerer du den

User-agent: Googlebot
Disallow: /

Sådan verificerer du ægte besøg

Google siger, at user agent-strenge kan forfalskes, og anbefaler et DNS-tjek i to trin. Slå den forespørgende IP op med reverse DNS: værtsnavnet skal ende på googlebot.com, google.com eller googleusercontent.com. Slå derefter værtsnavnet op med forward DNS og bekræft, at det giver samme IP. Google offentliggør også IP-intervallerne for sine almindelige crawlere som JSON, så du kan matche adresser automatisk.

Tjek, om dit website lukker den ind →

AEO og SEO: hvad der er det samme, og hvad der ændrer sig for AI-svar →