Видит ли Gemini мой сайт? Как проверить
Gemini может использовать вашу страницу в ответе с привязкой к источникам (grounding), только если страница есть в индексе Google Поиска, а robots.txt не запрещает токен Google-Extended. Google пишет, что grounding в приложении Gemini передаёт модели контент из индекса Google Поиска и что Google-Extended определяет, можно ли использовать для этого ваш контент. Поэтому проверьте индексацию в Search Console, проверьте robots.txt для Googlebot и Google-Extended, а затем задайте Gemini вопросы ваших покупателей и откройте его источники.
У Gemini нет краулера, которого можно отследить в логах, как у других ассистентов. Google обходит сайты своими существующими краулерами, а токен в robots.txt решает, что Gemini может делать с этим контентом. Поэтому проверка устроена иначе: большая её часть проходит в Google Search Console и в вашем robots.txt, а последний шаг — в самом Gemini.
На этой странице
- Проверка за 5 минут, шаг за шагом
- Как Gemini получает информацию с сайтов?
- Как проверить, проиндексировал ли Google мою страницу?
- Не мешает ли Google-Extended Gemini использовать мой сайт?
- Может ли файрвол блокировать Google, пропуская браузеры?
- Как увидеть, использует ли или цитирует ли Gemini мой сайт?
- Влияют ли AI Overviews, AI Mode и правила сниппетов на Gemini?
- Как это проверяет AISeeWhy?
Проверка за 5 минут, шаг за шагом
- Поищите в Google
site:и адрес страницы или воспользуйтесь проверкой URL в Search Console, чтобы убедиться, что страница есть в индексе Google. - Откройте robots.txt и убедитесь, что
Googlebotможет загрузить страницу, аGoogle-Extendedне запрещён, если только вы сами не решили отказаться. - Запустите бесплатную проверку страницы в AISeeWhy или отправьте один запрос с user agent
Googlebot: он должен получить статус 200 и тот же текст, что и браузер. - Задайте Gemini вопрос, на который отвечает ваша страница, и откройте источники, которые он показывает под ответом.
Если страница не проиндексирована, Gemini не может опереться на неё в ответе, поэтому начните с шага 1. Разделы ниже объясняют каждый шаг и что делать, если он не проходит.
Как Gemini получает информацию с сайтов?
В центре конфиденциальности приложений Gemini сказано, что некоторые ответы Gemini опираются на результаты Поиска. В документации Google о краулерах grounding определяется как передача модели контента из индекса Google Поиска в момент запроса, чтобы повысить точность и релевантность. На той же странице сказано, что Google-Extended определяет, можно ли использовать контент, который обходит Google, для обучения моделей Gemini и для grounding в приложениях Gemini и в Grounding with Google Search на Vertex AI.
У Google-Extended нет собственной строки user agent. Google пишет, что обход выполняется существующими user agent, а токен работает только в robots.txt как средство управления. На практике это даёт два условия, при которых Gemini может использовать вашу страницу: Google должен держать её в индексе, а robots.txt не должен запрещать для неё Google-Extended.
Google не описывает, как Gemini выбирает, какие проиндексированные страницы использовать или цитировать. Выполнение обоих условий делает вашу страницу доступной, но не гарантирует, что Gemini её выберет.
Как проверить, проиндексировал ли Google мою страницу?
Воспользуйтесь инструментом проверки URL в Google Search Console. Для проиндексированной версии он показывает:
- Проиндексирована ли страница или причину, например «URL неизвестен Google».
- Дату последнего сканирования и то, сканировал ли Google страницу как посетитель с компьютера или с мобильного.
- Удалось ли получить страницу и разрешил ли robots.txt сканирование.
- Указанный вами канонический адрес и канонический адрес, выбранный Google. Если они различаются, Google считает основной версией страницы свой вариант.
«Проверить страницу на сайте» загружает страницу в реальном времени, а «Посмотреть проверенную страницу» показывает скриншот и HTML, который получил Google. Если на скриншоте страница-проверка или в HTML нет основного текста, Google, а вместе с ним и Gemini, ваш контент не видит. «Запросить индексирование» просит Google заново просканировать URL; по словам Google, обычно это занимает около суток и индексация не гарантирована.
Не мешает ли Google-Extended Gemini использовать мой сайт?
Откройте robots.txt и найдите группу, где указан Google-Extended. Disallow: / в ней говорит Google не использовать ваши страницы для обучения Gemini и для grounding в приложениях Gemini. Google пишет, что токен не влияет на присутствие в Google Поиске и не является сигналом ранжирования, поэтому такую блокировку легко не заметить: поисковый трафик выглядит нормально, а Gemini не может опирать ответы на ваши страницы. Что этот токен контролирует в Поиске, а что нет, разобрано в нашей отдельной статье об AI Overviews и Google-Extended.
Токен никогда не появляется в запросах, поэтому его нельзя проверить через curl или найти в логах. Единственная проверка — прочитать файл:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" Сравнение идёт без учёта регистра, а если ни одна группа не называет Google-Extended, к нему применяется группа *. Многие сайты добавили эту блокировку, когда только начали обсуждать обучение AI. В нашем исследовании 1000 самых популярных доменов 114 из 518 сайтов с robots.txt упоминали Google-Extended, а 94 (18,1%) запрещали ему главную страницу. Решите, соответствует ли это всё ещё вашим намерениям, учитывая, что блокировка распространяется и на grounding.
Может ли файрвол блокировать Google, пропуская браузеры?
Да. Если защита от ботов или ограничение частоты запросов отвечает краулерам Google кодом 403, 429 или страницей-проверкой, Google не может просканировать страницу, и со временем она может выпасть из Поиска, а вместе с ним и из grounding Gemini. Лучший тест здесь — проверка URL, потому что Google загружает страницу со своих адресов; тест через curl с вашего компьютера показывает только, как ваши правила обходятся с user agent.
Чтобы безопасно пропускать Google, проверяйте посетителя, а не доверяйте имени. Google описывает обратный DNS-запрос с последующим прямым и публикует диапазоны IP своих основных краулеров в common-crawlers.json:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Замените адрес из примера адресом из своих логов. Если результаты двух запросов не совпадают, запрос лишь выдаёт себя за Google.
Как увидеть, использует ли или цитирует ли Gemini мой сайт?
Задайте Gemini вопросы, которые задают ваши покупатели, не называя свой сайт, и откройте источники. В справочном центре Google сказано, что кнопка «Источники» появляется внизу ответа или внутри текста и открывает панель связанных ссылок, среди которых могут быть публичные сайты. Если кнопки «Источники» нет, Gemini не дал ссылок для этого ответа, и Google отмечает, что ссылки есть не во всех ответах. Записывайте, какие домены появляются, и повторяйте те же вопросы несколько недель.
Разработчики могут провести тот же тест через Gemini API с Grounding with Google Search. Google пишет, что эта функция подключает модель к веб-контенту в реальном времени, а ответы с grounding содержат цитаты с URL и заголовком каждого источника, так что можно проверить, появляется ли ваш домен. Ответы API могут отличаться от того, что показывает приложение Gemini.
Некоторые обращения, связанные с Gemini, всё же доходят до вашего сервера. Google перечисляет загрузчики, запускаемые пользователями, например Google-GeminiNotebook, который запрашивает URL, добавленные пользователями как источники в проект Gemini Notebook, и Google-Agent, который используют агенты в инфраструктуре Google, действующие по запросу пользователя. Google пишет, что такие загрузчики обычно игнорируют robots.txt, потому что загрузку запросил пользователь. Их визиты показывают, что люди открывают ваши страницы через эти продукты; это не тот путь grounding, о котором шла речь выше.
Влияют ли AI Overviews, AI Mode и правила сниппетов на Gemini?
AI Overviews и AI Mode — функции Google Поиска со своими настройками. Google называет nosnippet, data-nosnippet, max-snippet и noindex способами ограничить то, что показывается с ваших страниц. В документации о метатеге robots сказано, что nosnippet также запрещает использовать контент как прямой источник для AI Overviews и AI Mode, а max-snippet ограничивает, сколько можно использовать. В Search Console есть и настройка генеративного AI в Поиске для всего сайта, которая может исключить сайт из AI Overviews, AI Mode и функций генеративного AI в Discover.
Ни на одной из этих страниц приложение Gemini не упоминается. Не стоит считать, что правило сниппетов или настройка Search Console меняет grounding Gemini или что Google-Extended меняет AI Overviews. Исключение — noindex: по определению grounding у Google страницу вне индекса Поиска для него использовать нельзя. Чтобы найти правила сниппетов, о которых вы могли забыть, проверьте HTML и заголовки:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" Как это проверяет AISeeWhy?
Бесплатная проверка AISeeWhy загружает вашу страницу как Googlebot и другие AI- и поисковые краулеры рядом с настоящим браузером, применяет ваш robots.txt к каждому, включая токен Google-Extended, распознаёт страницы-проверки и показывает, сколько текста доходит без JavaScript. Функция «Видимость в ИИ» в пробном периоде и платных тарифах задаёт ваши вопросы через Gemini API с grounding в Google Поиске на вашем собственном ключе и показывает, упомянут ли или процитирован ваш бренд или домен. AI Overviews и AI Mode она не опрашивает.
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Проверка IP AI-краулеров
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Краулеры в этой статье
Частые вопросы
Можно ли бесплатно проверить, видит ли Gemini мой сайт?
Да. Search Console, поиск site:, ваш robots.txt и вопрос в Gemini ничего не стоят. Бесплатная проверка AISeeWhy тестирует Googlebot, правило Google-Extended и 14 других краулеров для одной страницы в день.
Есть ли у Gemini собственный краулер?
Для grounding — нет. Google пишет, что у Google-Extended нет строки user agent и что обход выполняется существующими краулерами. Отдельные загрузчики, запускаемые пользователями, например Google-GeminiNotebook и Google-Agent, заходят на страницы по запросу пользователя, и Google пишет, что они обычно игнорируют robots.txt.
Если я заблокирую Google-Extended, сможет ли Gemini упоминать мой бренд?
Google пишет, что не будет использовать ваш контент для grounding в приложениях Gemini. Это правило касается ваших собственных страниц. О контенте других сайтов, которые пишут о вас, Google ничего не говорит, так что Gemini может по-прежнему называть ваш бренд на основе этих источников.
Через сколько изменения в robots.txt дойдут до Gemini?
Для Gemini Google срок не называет. В документации о robots.txt сказано, что Google обычно кэширует файл до 24 часов, так что подождите хотя бы сутки, прежде чем проверять снова, а для страниц, которые Google сканирует редко, — дольше.
Используют ли AI Overviews и Gemini одни и те же источники?
Google не описывает, как они связаны. Оба опираются на индекс Google, но настройки у них разные: правила сниппетов и настройка Search Console для AI Overviews и AI Mode и Google-Extended для grounding Gemini. Проверяйте их по отдельности.
Как отслеживать ответы Gemini во времени?
Составьте постоянный список вопросов покупателей, задавайте их Gemini по расписанию и записывайте, какие домены появляются в источниках. Функция «Видимость в ИИ» в AISeeWhy еженедельно прогоняет ваши вопросы через Gemini API с grounding в Google Поиске и показывает упоминания рядом с четырьмя конкурентами максимум. Результаты API могут отличаться от приложения Gemini.
Источники
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: отчёт о доступе AI-краулеров, 2026-11