Googlebot
Googlebot är Googles huvudsakliga crawler för att bygga sökindex. Google säger att robots.txt-reglerna för Googlebot styr hur en sajt genomsöks för Search, inklusive AI-funktioner som AI Overviews och AI Mode. Om du blockerar den försvinner dina sidor från Google Search och från de AI-svaren.
Vad den gör
Googlebot används för att hitta information till Googles sökindex. Genomsökningsinställningar riktade till token Googlebot påverkar Google Search och produkter som Google Images, Video, Google News och Discover. Den körs som en smartphone- och en desktopcrawler; båda följer samma Googlebot-regler, och Google säger att dess vanliga crawlers alltid följer robots.txt vid automatisk genomsökning.
Googles dokumentation om AI-funktioner beskriver Googlebot-reglerna som kontrollen för Search, inklusive AI Overviews och AI Mode, och pekar på nosnippet, data-nosnippet, max-snippet och noindex för att begränsa vad som visas. Användning för Gemini-träning styrs separat av Google-Extended.
I vår studie från 2026-11 blockerade 2.7% av de populära sajterna med en robots.txt den. →
robots.txt-token
Googlebot
User agent-sträng
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Så tillåter du den
User-agent: Googlebot
Allow: /Så blockerar du den
User-agent: Googlebot
Disallow: /Så verifierar du riktiga besök
Google säger att user agent-strängar kan förfalskas och rekommenderar en DNS-kontroll i två steg. Gör en omvänd DNS-uppslagning på IP-adressen som gjorde förfrågan: värdnamnet ska sluta på googlebot.com, google.com eller googleusercontent.com. Gör sedan en vanlig uppslagning på det värdnamnet och bekräfta att den ger samma IP. Google publicerar också IP-intervallen för sina vanliga crawlers som JSON, så att du kan matcha adresser automatiskt.
Kontrollera om din sajt släpper in den →
AEO eller SEO: vad som är samma sak och vad som ändras för AI-svar →