Googlebot
Googlebot Google-un axtarış indekslərini qurmaq üçün əsas botudur. Google bildirir ki, Googlebot üçün robots.txt qaydaları saytın Search üçün, o cümlədən AI Overviews və AI Mode kimi AI funksiyaları üçün necə gəzildiyini idarə edir. Onu bloklamaq səhifələrinizi Google Search-dən və həmin AI cavablarından çıxarır.
Ona necə icazə vermək olar
User-agent: Googlebot
Allow: / Onu necə bloklamaq olar
User-agent: Googlebot
Disallow: / Nə edir
Googlebot Google-un axtarış indekslərini qurmaq üçün məlumat tapmaqda istifadə olunur. Googlebot tokeninə ünvanlanan gəzinti seçimləri Google Search-ə və Google Images, Video, Google News və Discover kimi məhsullara təsir edir. O, smartfon və masaüstü botu kimi işləyir; hər ikisi eyni Googlebot qaydalarına əməl edir və Google bildirir ki, onun ümumi botları avtomatik gəzinti zamanı həmişə robots.txt-ə əməl edir.
Google-un AI funksiyalarına dair sənədləri Googlebot qaydalarını Search, o cümlədən AI Overviews və AI Mode üçün idarəetmə vasitəsi kimi təsvir edir və göstərilənləri məhdudlaşdırmaq üçün nosnippet, data-nosnippet, max-snippet və noindex-ə istinad edir. Gemini təlimi üçün istifadə ayrıca Google-Extended ilə idarə olunur.
2026-11 tədqiqatımızda robots.txt-i olan populyar saytların 2.7% hissəsi onu bloklayırdı. →
robots.txt tokeni
Googlebot
User-agent sətri
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Real ziyarətləri necə yoxlamaq olar
Google bildirir ki, user agent sətirləri saxtalaşdırıla bilər və iki addımlı DNS yoxlamasını tövsiyə edir. Sorğu göndərən IP üzrə reverse DNS sorğusu edin: host adı googlebot.com, google.com və ya googleusercontent.com ilə bitməlidir. Sonra həmin host adı üzrə forward sorğu edin və onun eyni IP-ni qaytardığını təsdiqləyin. Google ümumi botlarının IP diapazonlarını da JSON kimi dərc edir, buna görə ünvanları avtomatik tutuşdura bilərsiniz.