Google-Extended
Google-Extended is een robots.txt-token, geen aparte crawler. Het bepaalt of content die Google heeft gecrawld mag worden gebruikt om toekomstige Gemini-modellen te trainen en voor grounding in Gemini Apps en Vertex AI. Volgens Google heeft het geen invloed op of een site in Google Zoeken wordt opgenomen.
Wat de crawler doet
Google-Extended heeft geen eigen user agent. Het crawlen gebeurt met de bestaande user agents van Google en het Google-Extended-token fungeert als besturing: het vertelt Google of gecrawlde content mag worden gebruikt om toekomstige generaties Gemini-modellen te trainen en voor grounding in Gemini Apps en Vertex AI.
Google stelt dat Google-Extended geen invloed heeft op de opname van een site in Google Zoeken. De AI-functies van Google in Zoeken, zoals AI Overviews, worden geregeld door de Googlebot-regels en snippetinstellingen, niet door dit token.
In ons onderzoek van 2026-11 blokkeerde 18.1% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
Google-Extended
Zo sta je hem toe
User-agent: Google-Extended
Allow: /Zo blokkeer je hem
User-agent: Google-Extended
Disallow: /Zo verifieer je echte bezoeken
Er is niets te verifiëren in je logs: Google-Extended verschijnt nooit als user agent. De verzoeken erachter komen van de gewone crawlers van Google, die je kunt verifiëren met een reverse DNS-lookup (googlebot.com, google.com of googleusercontent.com) gevolgd door een forward lookup, of aan de hand van de gepubliceerde IP-bereiken van Google.
Controleer of je site hem toelaat →
robots.txt voor AI-crawlers: wat je toestaat en wat je blokkeert →