Google-Extended
Google-Extended — це токен robots.txt, а не окремий краулер. Він визначає, чи може контент, який обійшов Google, використовуватися для навчання майбутніх моделей Gemini та для обґрунтування відповідей у Gemini Apps і Vertex AI. Google каже, що він не впливає на включення сайту в Google Search.
Що він робить
Google-Extended не має власного user agent. Обхід виконують наявні user agent Google, а токен Google-Extended править за керувальний: він повідомляє Google, чи може контент, який вона обійшла, використовуватися для навчання майбутніх поколінь моделей Gemini та для обґрунтування відповідей у Gemini Apps і Vertex AI.
Google заявляє, що Google-Extended не впливає на включення сайту в Google Search. Функції ШІ в Пошуку, як-от AI Overviews, регулюються правилами Googlebot і засобами керування сніпетами, а не цим токеном.
У нашому дослідженні за 2026-11 його заблокували 18.1% популярних сайтів із robots.txt. →
Токен robots.txt
Google-Extended
Як його дозволити
User-agent: Google-Extended
Allow: /Як його заблокувати
User-agent: Google-Extended
Disallow: /Як перевірити справжні візити
У ваших журналах перевіряти нічого: Google-Extended ніколи не з'являється як user agent. Запити за ним надходять від звичайних краулерів Google, які можна перевірити зворотним DNS-запитом (googlebot.com, google.com або googleusercontent.com) із наступним прямим запитом або за опублікованими діапазонами IP Google.