Googlebot
Googlebot on Google'i peamine robot otsinguindeksite ehitamiseks. Google ütleb, et Googleboti robots.txt reeglid määravad, kuidas saiti otsingu jaoks läbitakse, sealhulgas AI-funktsioonide, nagu AI Overviews ja AI Mode, jaoks. Selle blokeerimine eemaldab sinu lehed Google'i otsingust ja nendest AI-vastustest.
Kuidas seda lubada
User-agent: Googlebot
Allow: / Kuidas seda blokeerida
User-agent: Googlebot
Disallow: / Mida see teeb
Googlebotit kasutatakse teabe leidmiseks Google'i otsinguindeksite ehitamiseks. Googleboti tunnusele suunatud läbimiseelistused mõjutavad Google'i otsingut ja tooteid nagu Google Images, Video, Google News ja Discover. See töötab nutitelefoni- ja lauaarvutirobotina; mõlemad järgivad samu Googleboti reegleid ja Google ütleb, et tema tavalised robotid järgivad automaatsel läbimisel alati robots.txt-d.
Google'i AI-funktsioonide dokumentatsioon kirjeldab Googleboti reegleid otsingu, sealhulgas AI Overviewsi ja AI Mode'i juhtimisvahendina ning viitab näidatava piiramiseks direktiividele nosnippet, data-nosnippet, max-snippet ja noindex. Gemini treenimiseks kasutamist juhitakse eraldi Google-Extendediga.
Meie uuringus (2026-11) blokeeris selle 2.7% populaarsetest saitidest, millel on robots.txt. →
robots.txt tunnus
Googlebot
User agent'i string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Kuidas päris külastusi kinnitada
Google ütleb, et user agent'i stringe saab võltsida, ja soovitab kaheastmelist DNS-kontrolli. Tee päringu IP-le pöörd-DNS-päring: hostinimi peaks lõppema domeeniga googlebot.com, google.com või googleusercontent.com. Seejärel tee sellele hostinimele edasisuunatud päring ja kinnita, et see tagastab sama IP. Google avaldab ka oma tavaliste robotite IP-vahemikud JSON-ina, nii et saad aadresse automaatselt sobitada.