Google-Extended
Google-Extended to token robots.txt, a nie osobny crawler. Określa, czy treści zaindeksowane przez Google mogą służyć do trenowania przyszłych modeli Gemini oraz do groundingu w Gemini Apps i Vertex AI. Google podaje, że nie wpływa on na uwzględnienie strony w Wyszukiwarce Google.
Co robi
Google-Extended nie ma własnego user agenta. Crawlowanie odbywa się za pomocą istniejących user agentów Google, a token Google-Extended pełni funkcję kontrolną: informuje Google, czy zaindeksowane treści mogą służyć do trenowania przyszłych generacji modeli Gemini oraz do groundingu w Gemini Apps i Vertex AI.
Google podaje, że Google-Extended nie wpływa na uwzględnienie strony w Wyszukiwarce Google. Funkcje AI Google w Wyszukiwarce, takie jak AI Overviews, podlegają regułom Googlebota i kontrolom fragmentów, a nie temu tokenowi.
W naszym badaniu z 2026-11 zablokowało go 18.1% popularnych stron z plikiem robots.txt. →
Token robots.txt
Google-Extended
Jak go dopuścić
User-agent: Google-Extended
Allow: /Jak go zablokować
User-agent: Google-Extended
Disallow: /Jak zweryfikować prawdziwe wizyty
W logach nie ma czego weryfikować: Google-Extended nigdy nie pojawia się jako user agent. Stojące za nim żądania pochodzą od zwykłych crawlerów Google, które możesz zweryfikować odwrotnym wyszukiwaniem DNS (googlebot.com, google.com lub googleusercontent.com), a następnie wyszukiwaniem prostym, albo na podstawie opublikowanych przez Google zakresów IP.