Чи прибирає блокування Google-Extended ваш сайт з AI Overviews і AI Mode?

Опубліковано

Коротка відповідь

Ні, за документацією Google. Google-Extended керує використанням вашого контенту для навчання моделей Gemini і для grounding у Gemini Apps та Vertex AI. AI Overviews і AI Mode використовують сторінки, які Googlebot обходить для Search. Щоб їх обмежити, Google вказує на елементи керування фрагментами, noindex і налаштування Search Console, що виключає сайт із цих функцій.

Google-Extended часто описують як спосіб тримати свій сайт подалі від AI Google. Це лише частково правда, і ця розбіжність спричиняє плутанину в обидва боки: одні сайти блокують його в сподіванні зникнути з AI Overviews і не бачать жодних змін, інші уникають його, боячись втратити пошуковий трафік. Власна документація Google доволі конкретна щодо того, що робить кожен елемент керування. Ось що вона каже, де сторінки не зовсім узгоджені і що перевірити на своєму сайті.

На цій сторінці
  1. Що таке Google-Extended
  2. Чи впливає блокування Google-Extended на AI Overviews або AI Mode
  3. Що керує тим, чи з’явитеся ви в AI Overviews та AI Mode
  4. Що буде, якщо натомість заблокувати Googlebot
  5. Як перевірити, що Google бачить на вашому сайті
  6. Де побачити трафік з AI Overviews

Що таке Google-Extended

Google описує Google-Extended як окремий токен продукту, який видавці можуть використовувати в robots.txt. У нього немає власного краулера та рядка user agent; сторінки завантажують наявні краулери Google, а токен керує тим, як цей контент можна використовувати.

Згідно з документацією краулерів Google, він охоплює два способи використання: навчання майбутніх поколінь моделей Gemini, що живлять Gemini Apps та API Vertex AI для Gemini, і grounding, тобто передачу моделі в момент запиту контенту з індексу Google Search, у Gemini Apps та в Grounding with Google Search у Vertex AI. Та сама сторінка каже, що Google-Extended не впливає на включення сайту до Google Search і не використовується як сигнал ранжування.

User-agent: Google-Extended
Disallow: /

Чи впливає блокування Google-Extended на AI Overviews або AI Mode

Документація Google не називає AI Overviews чи AI Mode серед способів використання, якими керує Google-Extended. Посібник Google щодо AI-функцій каже, що сторінка може з’являтися як підтримувальне посилання в AI Overviews чи AI Mode, якщо вона проіндексована й може показуватися в Google Search зі сніпетом, без додаткових технічних вимог. Як засіб керування обходом у Search він називає правила robots.txt для Googlebot, а не Google-Extended.

Отже, за описом Google, сторінка, яку Googlebot може обходити й індексувати і яка може показувати сніпет, усе одно може з’являтися в AI Overviews та AI Mode, коли Google-Extended заборонено.

Є один нюанс, який варто сказати прямо. Сторінка довідки Search Console про новий AI-елемент керування від Google каже, що для обмеження навчання моделей, які генерують відповіді в генеративних AI-функціях Search, слід використовувати Google-Extended. Документація краулерів Google для цього токена згадує лише Gemini Apps і Vertex AI. Дві сторінки по-різному описують обсяг. Жодна не каже, що блокування токена прибирає сайт з AI Overviews.

Що керує тим, чи з’явитеся ви в AI Overviews та AI Mode

Google документує такі елементи керування, від найвужчого до найширшого:

Google також каже, що для появи в AI Overviews чи AI Mode не потрібна особлива розмітка schema.org чи інша оптимізація.

Що буде, якщо натомість заблокувати Googlebot

Блокування Googlebot — найгрубіший варіант. Google каже, що налаштування обходу, адресовані йому, впливають на Google Search, зокрема Discover і всі функції Search. Сайт, що забороняє Googlebot, втрачає звичайні результати пошуку разом із цитуванням в AI Overviews та AI Mode.

Мало великих сайтів так роблять. У нашому дослідженні файлів robots.txt 1000 найпопулярніших доменів 94 із 518 сайтів із robots.txt (18,1 %) забороняли головну сторінку для Google-Extended, а для Googlebot — лише 14 (2,7 %). Дослідження охоплює правила robots.txt лише для головної сторінки й не може показати, чого ці сайти очікували від правила.

Як перевірити, що Google бачить на вашому сайті

Якщо ваших сторінок немає в AI Overviews чи AI Mode, пройдіть той самий ланцюжок, що й для звичайних результатів пошуку:

Навіть коли всі перевірки пройдено, Google сам вирішує, які сторінки показувати на кожен запит. Бути придатним не те саме, що бути показаним.

Де побачити трафік з AI Overviews

Google каже, що трафік із сайтів, які з’являються в AI-функціях, входить до загального пошукового трафіку у звіті «Ефективність» у Search Console. Разом із елементами керування 2026 року Google також оголосила генеративні AI-аналітичні дані в Search Console, які показують покази й те, які сторінки з’являються у відповідях AI, і сказала, що згодом з’являться нові метрики. Google-Extended у журналах сервера побачити не можна, бо в нього немає власного user agent.

AISeeWhy перевіряє ваш robots.txt і для Googlebot, і для Google-Extended, тестує, чи краулер Google отримує ту саму сторінку, що й браузер, і повідомляє про правила nosnippet та noindex, які не пустять сторінку в AI Overviews та AI Mode.

Поширені запитання

Чи зашкодить блокування Google-Extended моїм позиціям у Google?

Google каже, що Google-Extended не впливає на включення до Google Search і не використовується як сигнал ранжування.

Як вивести сайт з AI Overviews, але лишити в Google Search?

Google пропонує в Search Console налаштування Search generative AI, яке виключає сайт з AI Overviews, AI Mode і генеративних AI-функцій у Discover, не зачіпаючи решту Search. nosnippet і max-snippet також обмежують використання як прямого входу, але змінюють і звичайні сніпети.

Чи зупиняє налаштування AI в Search Console навчання AI?

Ні. Сторінка довідки Google каже, що налаштування не охоплює навчання, і вказує на Google-Extended для цього.

Чи потрібна особлива розмітка, щоб з’явитися в AI Overviews?

Google каже, що жодних додаткових вимог чи особливих структурованих даних schema.org не потрібно. Сторінка має бути проіндексована й придатна для показу сніпета.

Чи є Google-Extended краулером, якого можна заблокувати у файрволі?

Ні. У нього немає власного user agent, тому файрвол його не бачить. Він працює лише як токен robots.txt. Блокування справжніх краулерів Google у файрволі вплинуло б на Search.

Джерела

Інші статті