Googlebot

Google · Tražilica

Googlebot je Googleov glavni crawler za izgradnju indeksa pretraživanja. Google navodi da su pravila robots.txt za Googlebot način kontrole pretraživanja web-stranice za Google pretraživanje, uključujući AI značajke poput AI Overviews i AI Mode. Njegovim blokiranjem vaše stranice nestaju iz Google pretraživanja i tih AI odgovora.

Kako ga dopustiti

User-agent: Googlebot
Allow: /

Kako ga blokirati

User-agent: Googlebot
Disallow: /

Što radi

Googlebot se koristi za pronalaženje informacija za izgradnju Googleovih indeksa pretraživanja. Postavke pretraživanja upućene tokenu Googlebot utječu na Google pretraživanje i proizvode poput Google Images, Video, Google News i Discover. Radi kao crawler za pametne telefone i za stolna računala; oba poštuju ista pravila za Googlebot, a Google navodi da njegovi uobičajeni crawleri pri automatskom pretraživanju uvijek poštuju robots.txt.

Googleova dokumentacija o AI značajkama opisuje pravila za Googlebot kao kontrolu za pretraživanje, uključujući AI Overviews i AI Mode, a za ograničavanje prikazanog sadržaja upućuje na nosnippet, data-nosnippet, max-snippet i noindex. Upotrebu za treniranje Geminija zasebno kontrolira Google-Extended.

U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 2.7% popularnih web-stranica s datotekom robots.txt. →

Token za robots.txt

Googlebot

Niz user agenta

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Kako provjeriti stvarne posjete

Google navodi da se nizovi user agenta mogu lažirati i preporučuje provjeru DNS-a u dva koraka. Pokrenite obrnuti DNS upit za IP adresu koja šalje zahtjev: naziv hosta treba završavati s googlebot.com, google.com ili googleusercontent.com. Zatim pokrenite izravni upit za taj naziv hosta i potvrdite da vraća istu IP adresu. Google objavljuje i IP raspone svojih uobičajenih crawlera kao JSON, pa adrese možete uspoređivati automatski.

Provjerite propušta li ga vaša web-stranica →

AEO i SEO: što je isto, a što se mijenja za AI odgovore →