Чи бачить Gemini мій сайт? Як перевірити

Опубліковано · Оновлено

Коротка відповідь

Gemini може використати вашу сторінку в обґрунтованій відповіді (grounding), лише якщо сторінка є в пошуковому індексі Google, а ваш robots.txt не забороняє токен Google-Extended. Google зазначає, що grounding у застосунку Gemini надає моделі контент із пошукового індексу Google і що Google-Extended визначає, чи можна використовувати для цього ваш контент. Тож перевірте індексацію в Search Console, перевірте robots.txt для Googlebot і Google-Extended, а потім поставте Gemini запитання ваших покупців і відкрийте його джерела.

У Gemini немає краулера, якого можна вистежити в журналах, як це можна зробити з іншими асистентами. Google сканує сайти своїми наявними краулерами, а токен у robots.txt визначає, що Gemini може робити з контентом. Тому й перевірка інша: здебільшого вона відбувається в Google Search Console та у вашому robots.txt, а останній крок — у самому Gemini.

На цій сторінці
  1. Перевірка за 5 хвилин, крок за кроком
  2. Як Gemini отримує інформацію з вебсайтів?
  3. Як перевірити, чи проіндексував Google мою сторінку?
  4. Чи не заважає Google-Extended Gemini використовувати мій сайт?
  5. Чи може файрвол блокувати Google, а браузери пропускати?
  6. Як дізнатися, чи використовує або цитує Gemini мій сайт?
  7. Чи впливають AI Overviews, AI Mode і правила для сніпетів на Gemini?
  8. Як це перевіряє AISeeWhy?

Перевірка за 5 хвилин, крок за кроком

  1. Пошукайте в Google site: разом з адресою сторінки або скористайтеся перевіркою URL у Search Console, щоб переконатися, що сторінка є в індексі Google.
  2. Відкрийте robots.txt і переконайтеся, що Googlebot може завантажити сторінку, а Google-Extended не заборонено, якщо тільки ви самі не вирішили відмовитися.
  3. Запустіть безкоштовну перевірку сторінки в AISeeWhy або надішліть один запит з user agent Googlebot: він має отримати статус 200 і той самий текст, що й браузер.
  4. Поставте Gemini запитання, на яке відповідає ваша сторінка, і відкрийте джерела, які він показує під відповіддю.

Якщо сторінку не проіндексовано, Gemini не може спертися на неї у відповіді, тому почніть із кроку 1. Розділи нижче пояснюють кожен крок і що робити, якщо він не проходить.

Як Gemini отримує інформацію з вебсайтів?

У Gemini Apps Privacy Hub Google зазначає, що деякі відповіді Gemini ґрунтуються на результатах пошуку. Документація Google про краулери визначає grounding як надання моделі контенту з пошукового індексу Google під час запиту, щоб покращити фактичну точність і релевантність. На тій самій сторінці сказано, що Google-Extended визначає, чи можна використовувати контент, який сканує Google, для навчання моделей Gemini, для grounding у застосунках Gemini та в Grounding with Google Search на Vertex AI.

Google-Extended не має власного рядка user agent. Google зазначає, що сканування виконується наявними user agent, а токен працює лише в robots.txt як елемент керування. На практиці це дає дві умови, щоб Gemini використав вашу сторінку: Google має мати її в індексі, а ваш robots.txt не повинен забороняти для неї Google-Extended.

Google не описує, як Gemini обирає, які проіндексовані сторінки використати чи процитувати. Виконання обох умов робить вашу сторінку доступною, але не гарантує, що Gemini її вибере.

Як перевірити, чи проіндексував Google мою сторінку?

Скористайтеся інструментом «Перевірка URL-адреси» (URL Inspection) у Google Search Console. Для проіндексованої версії він показує:

«Перевірити URL-адресу в реальному часі» (Test live URL) завантажує сторінку просто зараз, а «Переглянути перевірену сторінку» (View tested page) показує знімок екрана та HTML, які отримав Google. Якщо на знімку сторінка-перевірка або в HTML немає основного тексту, Google, а з ним і Gemini, вашого контенту не бачить. «Надіслати запит на індексування» (Request indexing) просить Google знову просканувати URL; за словами Google, зазвичай це займає близько доби, а індексацію не гарантовано.

Чи не заважає Google-Extended Gemini використовувати мій сайт?

Відкрийте robots.txt і знайдіть групу, де вказано Google-Extended. Disallow: / у ній каже Google не використовувати ваші сторінки для навчання Gemini чи для grounding у застосунках Gemini. Google зазначає, що токен не впливає на включення до Google Search і не є сигналом ранжування, тож таке блокування легко пропустити: пошуковий трафік виглядає нормально, а Gemini не може ґрунтувати відповіді на ваших сторінках. Що токен контролює в пошуку, а що ні, описано в нашій окремій статті про AI Overviews і Google-Extended.

Оскільки токен ніколи не з’являється в запитах, перевірити його через curl чи знайти в журналах неможливо. Єдина перевірка — прочитати файл:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Зіставлення не залежить від регістру, і якщо жодна група не називає Google-Extended, до нього застосовується група *. Багато сайтів додали це блокування, щойно почали обговорювати навчання AI. У нашому дослідженні 1000 найпопулярніших доменів 114 із 518 сайтів з robots.txt називали Google-Extended, і 94 (18,1 %) закривали для нього головну сторінку. Вирішіть, чи це досі відповідає вашим намірам, з огляду на те, що блокування охоплює й grounding.

Чи може файрвол блокувати Google, а браузери пропускати?

Так. Якщо захист від ботів чи ліміт запитів відповідає краулерам Google кодом 403, 429 або сторінкою-перевіркою, Google не може просканувати сторінку, і з часом вона може випасти з пошуку, а разом із ним і з grounding у Gemini. Найкращий тест тут — «Перевірка URL-адреси», бо Google завантажує сторінку зі своїх адрес; тест через curl з вашого комп’ютера показує лише, як ваші правила реагують на user agent.

Щоб безпечно пропускати Google, перевіряйте відвідувача, а не довіряйте назві. Google описує зворотний DNS-запит, за яким іде прямий, і публікує діапазони IP своїх звичайних краулерів у common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Замініть адресу з прикладу на адресу з ваших журналів. Якщо два запити не збігаються, запит лише видає себе за Google.

Як дізнатися, чи використовує або цитує Gemini мій сайт?

Поставте Gemini запитання, які ставлять ваші покупці, не називаючи свого сайту, і відкрийте джерела. У довідковому центрі Google сказано, що кнопка «Джерела» (Sources) з’являється внизу відповіді або в тексті й відкриває панель пов’язаних посилань, серед яких можуть бути загальнодоступні сайти. Якщо кнопки немає, Gemini не надав посилань для цієї відповіді, і Google зазначає, що посилання є не в усіх відповідях. Записуйте, які домени з’являються, і повторюйте ті самі запитання кілька тижнів.

Розробники можуть провести такий самий тест через Gemini API з Grounding with Google Search. Google зазначає, що ця функція підключає модель до вебконтенту в реальному часі, а обґрунтовані відповіді містять цитування з URL і заголовком кожного джерела, тож можна перевірити, чи з’являється ваш домен. Відповіді через API можуть відрізнятися від того, що показує застосунок Gemini.

Деякі запити, пов’язані з Gemini, таки доходять до вашого сервера. Google перелічує фетчери, які запускає користувач, як-от Google-GeminiNotebook, що запитує URL, які користувачі додають як джерела до проєкту Gemini Notebook, і Google-Agent, який використовують агенти на інфраструктурі Google, що діють на запит користувача. Google зазначає, що ці фетчери зазвичай ігнорують robots.txt, бо завантаження запросив користувач. Їхні візити показують, що люди відкривають ваші сторінки через ці продукти; це не той шлях grounding, який описано вище.

Чи впливають AI Overviews, AI Mode і правила для сніпетів на Gemini?

AI Overviews і AI Mode — функції Google Search із власними елементами керування. Google називає nosnippet, data-nosnippet, max-snippet і noindex способами обмежити те, що показується з ваших сторінок. У документації про метатег robots сказано, що nosnippet також не дає використовувати контент як пряме джерело для AI Overviews і AI Mode, а max-snippet обмежує, скільки його можна використати. У Search Console також є налаштування генеративного AI в пошуку для всього сайту, яке може виключити сайт з AI Overviews, AI Mode і функцій генеративного AI в Discover.

На жодній із цих сторінок не згадано застосунок Gemini. Не варто вважати, що правило для сніпетів чи налаштування Search Console змінює grounding у Gemini або що Google-Extended змінює AI Overviews. Виняток — noindex: за визначенням grounding від Google сторінку поза пошуковим індексом використати для нього не можна. Щоб знайти забуті правила для сніпетів, перевірте HTML і заголовки:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Як це перевіряє AISeeWhy?

Безкоштовна перевірка AISeeWhy завантажує вашу сторінку як Googlebot та інші AI- і пошукові краулери поруч зі справжнім браузером, застосовує ваш robots.txt до кожного, зокрема токен Google-Extended, розпізнає сторінки-перевірки й показує, скільки тексту надходить без JavaScript. Перевірка видимості в AI, доступна на платних тарифах, ставить ваші запитання через Gemini API з grounding через Google Search на вашому власному ключі й показує, чи згадано або процитовано ваш бренд чи домен. AI Overviews і AI Mode вона не опитує.

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Чи можна безкоштовно перевірити, чи бачить Gemini мій сайт?

Так. Search Console, пошук site:, ваш robots.txt і запитання в Gemini нічого не коштують. Безкоштовна перевірка AISeeWhy тестує Googlebot, правило Google-Extended і 14 інших краулерів для однієї сторінки на день.

Чи є в Gemini власний краулер?

Не для grounding. Google зазначає, що Google-Extended не має рядка user agent і що сканування виконують наявні краулери. Окремі фетчери, які запускає користувач, як-от Google-GeminiNotebook і Google-Agent, відвідують сторінки на запит користувача і, за словами Google, зазвичай ігнорують robots.txt.

Якщо заблокувати Google-Extended, чи може Gemini все одно згадувати мій бренд?

Google зазначає, що не використовуватиме ваш контент для grounding у застосунках Gemini. Це правило стосується ваших власних сторінок. Про контент на інших сайтах, які пишуть про вас, Google нічого не каже, тож Gemini може й далі називати ваш бренд на основі цих джерел.

Скільки часу потрібно, щоб зміна robots.txt дійшла до Gemini?

Для Gemini Google строку не називає. У документації про robots.txt сказано, що Google зазвичай кешує файл до 24 годин, тож зачекайте щонайменше добу перед повторною перевіркою, а для сторінок, які Google сканує рідко, — довше.

Чи використовують AI Overviews і Gemini ті самі джерела?

Google не описує, як вони пов’язані. Обидва спираються на індекс Google, але елементи керування в них різні: правила для сніпетів і налаштування Search Console для AI Overviews і AI Mode та Google-Extended для grounding у Gemini. Перевіряйте їх окремо.

Як відстежувати відповіді Gemini з часом?

Складіть сталий список запитань покупців, ставте їх Gemini за розкладом і записуйте, які домени з’являються в джерелах. Перевірка видимості в AI від AISeeWhy щотижня ставить ваші запитання через Gemini API з grounding через Google Search і показує згадки поруч із щонайбільше чотирма конкурентами. Результати з API можуть відрізнятися від застосунку Gemini.

Джерела

Інші статті