Googlebot
Googlebot is de belangrijkste crawler van Google voor het opbouwen van de zoekindexen. Google zegt dat robots.txt-regels voor Googlebot bepalen hoe een site voor Zoeken wordt gecrawld, ook voor AI-functies zoals AI Overviews en AI Mode. Blokkeren haalt je pagina's uit Google Zoeken en uit die AI-antwoorden.
Wat de crawler doet
Googlebot wordt gebruikt om informatie te vinden voor de zoekindexen van Google. Crawlvoorkeuren voor het Googlebot-token raken Google Zoeken en producten zoals Google Afbeeldingen, Video, Google Nieuws en Discover. Hij draait als smartphone- en desktopcrawler; beide volgen dezelfde Googlebot-regels, en Google zegt dat zijn gewone crawlers robots.txt altijd volgen bij automatisch crawlen.
De documentatie van Google over AI-functies beschrijft Googlebot-regels als de besturing voor Zoeken, inclusief AI Overviews en AI Mode, en verwijst naar nosnippet, data-nosnippet, max-snippet en noindex om te beperken wat wordt getoond. Gebruik voor Gemini-training wordt apart geregeld door Google-Extended.
In ons onderzoek van 2026-11 blokkeerde 2.7% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
Googlebot
User-agentstring
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Zo sta je hem toe
User-agent: Googlebot
Allow: /Zo blokkeer je hem
User-agent: Googlebot
Disallow: /Zo verifieer je echte bezoeken
Google zegt dat user-agentstrings kunnen worden vervalst en raadt een DNS-controle in twee stappen aan. Doe een reverse DNS-lookup op het IP van het verzoek: de hostnaam moet eindigen op googlebot.com, google.com of googleusercontent.com. Doe daarna een forward lookup op die hostnaam en controleer of die hetzelfde IP teruggeeft. Google publiceert ook de IP-bereiken van zijn gewone crawlers als JSON, zodat je adressen automatisch kunt matchen.
Controleer of je site hem toelaat →
AEO versus SEO: wat is hetzelfde en wat verandert er voor AI-antwoorden →