Google-Extended
Google-Extended је токен у robots.txt, а не засебан краулер. Он контролише да ли садржај који је Google пописао сме да се користи за обуку будућих Gemini модела и за утемељење одговора у Gemini Apps и Vertex AI. Google каже да не утиче на укључивање сајта у Google претрагу.
Како да га дозволите
User-agent: Google-Extended
Allow: / Како да га блокирате
User-agent: Google-Extended
Disallow: / Шта ради
Google-Extended нема сопствени user agent. Пописивање се обавља постојећим Google user agent-има, а токен Google-Extended има контролну улогу: говори Google-у да ли садржај који је пописао сме да се користи за обуку будућих генерација Gemini модела и за утемељење одговора у Gemini Apps и Vertex AI.
Google наводи да Google-Extended не утиче на укључивање сајта у Google претрагу. AI функције Google претраге, као што су AI Overviews, уређују правила за Googlebot и контроле исечака, а не овај токен.
У нашој студији из 2026-11 блокирало га је 18.1% популарних сајтова са robots.txt. →
robots.txt токен
Google-Extended
Како да проверите праве посете
У вашим логовима нема шта да се провери: Google-Extended се никада не појављује као user agent. Захтеви иза њега долазе од редовних Google краулера, које можете да проверите обрнутим DNS упитом (googlebot.com, google.com или googleusercontent.com) праћеним директним упитом или поређењем са објављеним Google IP опсезима.