Googlebot
Googlebot yra pagrindinis Google robotas, kuriantis jos paieškos indeksus. Google teigia, kad Googlebot robots.txt taisyklės valdo, kaip svetainė nuskaitoma paieškai, įskaitant DI funkcijas, pvz., AI Overviews ir AI Mode. Jį užblokavus jūsų puslapiai pašalinami iš Google paieškos ir tų DI atsakymų.
Kaip jį įleisti
User-agent: Googlebot
Allow: / Kaip jį blokuoti
User-agent: Googlebot
Disallow: / Ką jis daro
Googlebot naudojamas rasti informaciją Google paieškos indeksams kurti. Googlebot žymeniui skirti nuskaitymo nustatymai veikia Google paiešką ir tokius produktus kaip Google Images, Video, Google News ir Discover. Jis veikia kaip išmaniojo telefono ir stalinio kompiuterio robotas; abu paiso tų pačių Googlebot taisyklių, o Google teigia, kad jos bendrieji robotai automatiškai nuskaitydami visada paiso robots.txt.
Google dokumentacija apie DI funkcijas Googlebot taisykles apibūdina kaip paieškos valdymo priemonę, įskaitant AI Overviews ir AI Mode, o rodomam turiniui riboti nurodo nosnippet, data-nosnippet, max-snippet ir noindex. Naudojimas Gemini mokymui valdomas atskirai per Google-Extended.
Mūsų 2026-11 tyrime jį blokavo 2.7% populiarių svetainių, turinčių robots.txt. →
robots.txt žymuo
Googlebot
User-agent eilutė
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Kaip patvirtinti tikrus apsilankymus
Google nurodo, kad user agent eilutes galima suklastoti, ir rekomenduoja dviejų žingsnių DNS patikrą. Atlikite užklausos IP atvirkštinę DNS paiešką: serverio pavadinimas turi baigtis googlebot.com, google.com ar googleusercontent.com. Tada atlikite to pavadinimo tiesioginę paiešką ir patvirtinkite, kad ji grąžina tą patį IP. Google taip pat skelbia savo bendrųjų robotų IP intervalus JSON formatu, todėl adresus galite tikrinti automatiškai.