Googlebot

Google · Otsingumootor

Googlebot on Google'i peamine robot otsinguindeksite ehitamiseks. Google ütleb, et Googleboti robots.txt reeglid määravad, kuidas saiti otsingu jaoks läbitakse, sealhulgas AI-funktsioonide, nagu AI Overviews ja AI Mode, jaoks. Selle blokeerimine eemaldab sinu lehed Google'i otsingust ja nendest AI-vastustest.

Kuidas seda lubada

User-agent: Googlebot
Allow: /

Kuidas seda blokeerida

User-agent: Googlebot
Disallow: /

Mida see teeb

Googlebotit kasutatakse teabe leidmiseks Google'i otsinguindeksite ehitamiseks. Googleboti tunnusele suunatud läbimiseelistused mõjutavad Google'i otsingut ja tooteid nagu Google Images, Video, Google News ja Discover. See töötab nutitelefoni- ja lauaarvutirobotina; mõlemad järgivad samu Googleboti reegleid ja Google ütleb, et tema tavalised robotid järgivad automaatsel läbimisel alati robots.txt-d.

Google'i AI-funktsioonide dokumentatsioon kirjeldab Googleboti reegleid otsingu, sealhulgas AI Overviewsi ja AI Mode'i juhtimisvahendina ning viitab näidatava piiramiseks direktiividele nosnippet, data-nosnippet, max-snippet ja noindex. Gemini treenimiseks kasutamist juhitakse eraldi Google-Extendediga.

Meie uuringus (2026-11) blokeeris selle 2.7% populaarsetest saitidest, millel on robots.txt. →

robots.txt tunnus

Googlebot

User agent'i string

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Kuidas päris külastusi kinnitada

Google ütleb, et user agent'i stringe saab võltsida, ja soovitab kaheastmelist DNS-kontrolli. Tee päringu IP-le pöörd-DNS-päring: hostinimi peaks lõppema domeeniga googlebot.com, google.com või googleusercontent.com. Seejärel tee sellele hostinimele edasisuunatud päring ja kinnita, et see tagastab sama IP. Google avaldab ka oma tavaliste robotite IP-vahemikud JSON-ina, nii et saad aadresse automaatselt sobitada.

Kontrolli, kas sinu sait laseb selle sisse →

AEO vs SEO: mis on sama ja mis muutub AI-vastuste jaoks →