Googlebot
Googlebot — головний краулер Google для побудови пошукових індексів. Google каже, що правила robots.txt для Googlebot визначають, як сайт обходиться для Пошуку, зокрема для функцій ШІ, таких як AI Overviews і AI Mode. Якщо заблокувати його, ваші сторінки зникнуть із Google Search і цих відповідей ШІ.
Що він робить
Googlebot використовується для пошуку інформації, з якої будуються пошукові індекси Google. Налаштування обходу для токена Googlebot впливають на Google Search і такі продукти, як Google Images, Video, Google News і Discover. Він працює як смартфонний і настільний краулер; обидва дотримуються тих самих правил Googlebot, а Google каже, що її основні краулери під час автоматичного обходу завжди дотримуються robots.txt.
Документація Google про функції ШІ описує правила Googlebot як засіб керування для Пошуку, зокрема для AI Overviews і AI Mode, і вказує на nosnippet, data-nosnippet, max-snippet і noindex для обмеження того, що показується. Використання для навчання Gemini контролюється окремо через Google-Extended.
У нашому дослідженні за 2026-11 його заблокували 2.7% популярних сайтів із robots.txt. →
Токен robots.txt
Googlebot
Рядок user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Як його дозволити
User-agent: Googlebot
Allow: /Як його заблокувати
User-agent: Googlebot
Disallow: /Як перевірити справжні візити
Google зазначає, що рядки user agent можна підробити, і радить двокроковий перегляд DNS. Виконайте зворотний DNS-запит для IP, з якого надійшов запит: ім'я хоста має закінчуватися на googlebot.com, google.com або googleusercontent.com. Потім виконайте прямий запит для цього імені й переконайтеся, що він повертає той самий IP. Google також публікує діапазони IP своїх основних краулерів у форматі JSON, тож адреси можна зіставляти автоматично.