Google-Extended
Google-Extended — токен robots.txt, а не отдельный краулер. Он определяет, можно ли использовать контент, обойдённый Google, для обучения будущих моделей Gemini и для привязки к источникам (grounding) в Gemini Apps и Vertex AI. По словам Google, он не влияет на включение сайта в Google Search.
Что он делает
У Google-Extended нет собственного user agent. Обход выполняют существующие user agent Google, а токен Google-Extended служит управляющим: он сообщает Google, можно ли использовать обойдённый контент для обучения будущих поколений моделей Gemini и для привязки к источникам (grounding) в Gemini Apps и Vertex AI.
Google заявляет, что Google-Extended не влияет на включение сайта в Google Search. AI-функции Google в Search, такие как AI Overviews, управляются правилами Googlebot и настройками сниппетов, а не этим токеном.
В нашем исследовании за 2026-11 18.1% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
Google-Extended
Как его разрешить
User-agent: Google-Extended
Allow: /Как его заблокировать
User-agent: Google-Extended
Disallow: /Как проверить настоящие визиты
В логах проверять нечего: Google-Extended никогда не появляется как user agent. Запросы за ним исходят от обычных краулеров Google, которые можно проверить обратным DNS-запросом (googlebot.com, google.com или googleusercontent.com) с последующим прямым запросом либо по опубликованным диапазонам IP Google.