Googlebot
Googlebot — основной краулер Google для построения поисковых индексов. Google сообщает, что правила robots.txt для Googlebot определяют, как сайт обходится для Search, включая AI-функции, такие как AI Overviews и AI Mode. Его блокировка убирает ваши страницы из Google Search и из этих AI-ответов.
Что он делает
Googlebot используется для поиска информации при построении поисковых индексов Google. Настройки обхода, адресованные токену Googlebot, влияют на Google Search и такие продукты, как Google Images, Video, Google News и Discover. Он работает как смартфонный и как десктопный краулер; оба подчиняются одним и тем же правилам Googlebot, и Google сообщает, что его основные краулеры при автоматическом обходе всегда соблюдают robots.txt.
Документация Google по AI-функциям описывает правила Googlebot как способ управления для Search, включая AI Overviews и AI Mode, и называет nosnippet, data-nosnippet, max-snippet и noindex для ограничения того, что показывается. Использование для обучения Gemini настраивается отдельно через Google-Extended.
В нашем исследовании за 2026-11 2.7% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
Googlebot
Строка user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Как его разрешить
User-agent: Googlebot
Allow: /Как его заблокировать
User-agent: Googlebot
Disallow: /Как проверить настоящие визиты
Google сообщает, что строки user agent можно подделать, и рекомендует двухэтапную проверку DNS. Выполните обратный DNS-запрос для IP отправителя: имя хоста должно оканчиваться на googlebot.com, google.com или googleusercontent.com. Затем выполните прямой запрос для этого имени хоста и убедитесь, что он возвращает тот же IP. Google также публикует диапазоны IP своих основных краулеров в виде JSON, так что адреса можно сверять автоматически.