Googlebot

Google · Претраживач

Googlebot је главни Google краулер за изградњу његових индекса претраге. Google каже да су правила robots.txt за Googlebot контрола за то како се сајт пописује за претрагу, укључујући AI функције као што су AI Overviews и AI Mode. Његово блокирање уклања ваше странице из Google претраге и тих AI одговора.

Како да га дозволите

User-agent: Googlebot
Allow: /

Како да га блокирате

User-agent: Googlebot
Disallow: /

Шта ради

Googlebot се користи за проналажење информација за изградњу Google индекса претраге. Подешавања пописивања упућена токену Googlebot утичу на Google претрагу и производе као што су Google Images, Video, Google News и Discover. Ради као краулер за паметне телефоне и као десктоп краулер; оба поштују иста правила за Googlebot, а Google каже да његови уобичајени краулери увек поштују robots.txt при аутоматском пописивању.

Google документација о AI функцијама описује правила за Googlebot као контролу за претрагу, укључујући AI Overviews и AI Mode, и упућује на nosnippet, data-nosnippet, max-snippet и noindex за ограничавање онога што се приказује. Коришћење за обуку Gemini-ја контролише се засебно преко Google-Extended.

У нашој студији из 2026-11 блокирало га је 2.7% популарних сајтова са robots.txt. →

robots.txt токен

Googlebot

User-agent стринг

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Како да проверите праве посете

Google каже да user agent стрингови могу да се лажирају и препоручује DNS проверу у два корака. Покрените обрнути DNS упит за IP који шаље захтев: име хоста треба да се завршава на googlebot.com, google.com или googleusercontent.com. Затим покрените директни упит за то име хоста и потврдите да враћа исти IP. Google објављује и IP опсеге својих уобичајених краулера као JSON, па адресе можете да поредите аутоматски.

Проверите да ли га ваш сајт пушта →

AEO или SEO: шта је исто, а шта се мења због AI одговора →