Googlebot

Google · Suchmaschine

Googlebot ist der wichtigste Crawler von Google zum Aufbau seiner Suchindizes. Laut Google sind die robots.txt-Regeln für Googlebot die Steuerung dafür, wie eine Website für die Suche gecrawlt wird, einschließlich KI-Funktionen wie AI Overviews und AI Mode. Wenn Sie ihn blockieren, verschwinden Ihre Seiten aus der Google-Suche und aus diesen KI-Antworten.

Was er tut

Googlebot sammelt Informationen für den Aufbau der Suchindizes von Google. Crawling-Einstellungen für das Token Googlebot wirken sich auf die Google-Suche und auf Produkte wie Google Bilder, Videos, Google News und Discover aus. Er läuft als Smartphone- und als Desktop-Crawler; beide befolgen dieselben Googlebot-Regeln, und laut Google beachten die gängigen Crawler von Google beim automatischen Crawlen stets die robots.txt.

Die Dokumentation von Google zu KI-Funktionen beschreibt die Googlebot-Regeln als Steuerung für die Suche, einschließlich AI Overviews und AI Mode, und verweist auf nosnippet, data-nosnippet, max-snippet und noindex, um die angezeigten Inhalte zu begrenzen. Die Nutzung für das Gemini-Training wird separat über Google-Extended gesteuert.

In unserer Studie vom 2026-11 blockierten 2.7% der beliebten Websites mit einer robots.txt ihn. →

robots.txt-Token

Googlebot

User-Agent-String

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

So lassen Sie ihn zu

User-agent: Googlebot
Allow: /

So blockieren Sie ihn

User-agent: Googlebot
Disallow: /

So prüfen Sie echte Besuche

Google weist darauf hin, dass sich User-Agent-Strings fälschen lassen, und empfiehlt eine zweistufige DNS-Prüfung. Führen Sie eine Reverse-DNS-Abfrage für die anfragende IP durch: Der Hostname sollte auf googlebot.com, google.com oder googleusercontent.com enden. Führen Sie dann eine Forward-Abfrage für diesen Hostnamen durch und bestätigen Sie, dass sie dieselbe IP liefert. Google veröffentlicht außerdem die IP-Bereiche seiner gängigen Crawler als JSON, sodass Sie Adressen automatisch abgleichen können.

Prüfen, ob Ihre Website ihn hereinlässt →

AEO vs. SEO: was gleich bleibt und was sich für KI-Antworten ändert →