Google-Extended
Google-Extended je token za robots.txt, a ne zaseban crawler. Određuje smije li se sadržaj koji je Google pretražio koristiti za treniranje budućih modela Gemini i za utemeljenje u aplikacijama Gemini i Vertex AI. Google navodi da ne utječe na uključenost web-stranice u Google pretraživanje.
Kako ga dopustiti
User-agent: Google-Extended
Allow: / Kako ga blokirati
User-agent: Google-Extended
Disallow: / Što radi
Google-Extended nema vlastiti user agent. Pretraživanje se obavlja postojećim Googleovim user agentima, a token Google-Extended služi za kontrolu: govori Googleu smije li se sadržaj koji je pretražio koristiti za treniranje budućih generacija modela Gemini i za utemeljenje u aplikacijama Gemini i Vertex AI.
Google navodi da Google-Extended ne utječe na uključenost web-stranice u Google pretraživanje. Googleove AI značajke u pretraživanju, poput AI Overviews, uređuju pravila za Googlebot i kontrole isječaka, a ne ovaj token.
U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 18.1% popularnih web-stranica s datotekom robots.txt. →
Token za robots.txt
Google-Extended
Kako provjeriti stvarne posjete
U zapisnicima nema ničega za provjeru: Google-Extended se nikada ne pojavljuje kao user agent. Zahtjevi iza njega dolaze od Googleovih uobičajenih crawlera, koje možete provjeriti obrnutim DNS upitom (googlebot.com, google.com ili googleusercontent.com) nakon kojeg slijedi izravni upit ili usporedbom s Googleovim objavljenim IP rasponima.