Вижда ли Gemini сайта ми? Как да проверите
Gemini може да използва страницата ви в обоснован отговор само ако тя е в индекса на Google Търсене и robots.txt не забранява токена Google-Extended. Google посочва, че обосноваването (grounding) в приложението Gemini дава на модела съдържание от индекса на Google Търсене и че Google-Extended определя дали съдържанието ви може да се използва за това. Затова проверете индексирането в Search Console, проверете robots.txt за Googlebot и Google-Extended, а после задайте на Gemini въпросите на купувачите си и отворете източниците му.
Gemini няма бот, който да търсите в логовете си, както при другите асистенти. Google обхожда с вече съществуващите си ботове, а токен в robots.txt решава какво може да прави Gemini със съдържанието. Затова проверката е различна: по-голямата част се прави в Google Search Console и в robots.txt, а последната стъпка е в самия Gemini.
На тази страница
- Проверката за 5 минути, стъпка по стъпка
- Как Gemini получава информация от уебсайтове?
- Как да проверя дали Google е индексирал страницата ми?
- Спира ли Google-Extended Gemini да използва сайта ми?
- Може ли защитна стена да блокира Google, докато браузърите минават?
- Как да видя дали Gemini използва или цитира сайта ми?
- Влияят ли AI Overviews, AI Mode и правилата за фрагменти на Gemini?
- Как AISeeWhy проверява това?
Проверката за 5 минути, стъпка по стъпка
- Потърсете в Google
site:плюс адреса на страницата си или използвайте Проверка на URL адрес в Search Console, за да потвърдите, че страницата е в индекса на Google. - Отворете robots.txt и се уверете, че
Googlebotможе да изтегли страницата и чеGoogle-Extendedне е забранен, освен ако не сте избрали да се откажете. - Пуснете безплатна проверка на страницата в AISeeWhy или изпратете една заявка с user agent
Googlebot: тя трябва да получи статус 200 и същия текст като браузър. - Задайте на Gemini въпрос, на който страницата ви отговаря, и отворете източниците, които показва под отговора.
Ако страницата не е индексирана, обосноваването на Gemini не може да я използва, затова започнете от стъпка 1. Разделите по-долу обясняват всяка стъпка и какво да правите, когато не мине.
Как Gemini получава информация от уебсайтове?
Центърът за поверителност на приложенията Gemini на Google посочва, че някои отговори на Gemini се обосновават с резултати от търсенето. Документацията на Google за ботовете определя обосноваването (grounding) като предоставяне на съдържание от индекса на Google Търсене на модела в момента на заявката, за да се подобрят точността и уместността. Същата страница казва, че Google-Extended определя дали съдържанието, което Google обхожда, може да се използва за обучение на моделите Gemini и за обосноваване в приложенията Gemini и в Grounding with Google Search във Vertex AI.
Google-Extended няма собствен user agent низ. Google казва, че обхождането се извършва с вече съществуващите му user agents, а токенът работи само в robots.txt като контрол. На практика това дава две условия, за да използва Gemini страницата ви: Google трябва да я има в индекса си, а robots.txt не трябва да забранява Google-Extended за нея.
Google не документира как Gemini избира кои индексирани страници да използва или цитира. Изпълнението на двете условия прави страницата ви достъпна, но не гарантира, че Gemini ще я избере.
Как да проверя дали Google е индексирал страницата ми?
Използвайте инструмента за проверка на URL адреси в Google Search Console. За индексираната версия той показва:
- Дали страницата е индексирана или причина като „URL адресът не е известен на Google“.
- Датата на последното обхождане и дали Google я е обходил като посетител от настолен компютър или мобилно устройство.
- Дали изтеглянето на страницата е успешно и дали robots.txt е разрешил обхождането.
- Декларираната от вас канонична страница и тази, която Google е избрал. Ако се различават, Google приема своя избор за меродавната версия на страницата.
Тестът на URL адреса на живо изтегля страницата в реално време, а „Преглед на тестваната страница“ показва екранна снимка и HTML, който Google е получил. Ако на снимката има страница за проверка или в HTML липсва основният ви текст, Google, а с него и Gemini, не вижда съдържанието ви. „Заявка за индексиране“ моли Google да обходи URL адреса отново; Google казва, че обикновено това отнема около ден, без гаранция за индексиране.
Спира ли Google-Extended Gemini да използва сайта ми?
Отворете robots.txt и потърсете група, която назовава Google-Extended. Disallow: / в нея казва на Google да не използва страниците ви за обучение на Gemini или за обосноваване в приложенията Gemini. Google посочва, че токенът не влияе на включването в Google Търсене и не е сигнал за класиране, така че това блокиране лесно остава незабелязано: трафикът от търсенето изглежда нормален, а Gemini не може да обосновава отговори със страниците ви. Отделната ни статия за AI Overviews и Google-Extended обяснява какво токенът контролира в Търсене и какво не.
Тъй като токенът никога не се появява в заявките, не можете да го тествате с curl или да го намерите в логовете. Единствената проверка е да прочетете файла:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" Сравняването не зависи от главни и малки букви, а ако никоя група не назовава Google-Extended, за него се прилага групата *. Много сайтове добавиха това блокиране, когато обучението на AI започна да се обсъжда. В нашето проучване на 1000-те най-популярни домейна 114 от 518-те сайта с robots.txt назоваваха Google-Extended, а 94 (18,1%) забраняваха началната си страница за него. Решете дали това още отговаря на желанията ви, като се има предвид, че то обхваща и обосноваването.
Може ли защитна стена да блокира Google, докато браузърите минават?
Да. Ако защитата от ботове или ограничение на честотата отговаря на ботовете на Google с 403, 429 или страница за проверка, Google не може да обходи страницата и с времето тя може да отпадне от Търсене, а с това и от обосноваването на Gemini. Проверката на URL адреси е най-добрият тест тук, защото Google изтегля от собствените си адреси; тест с curl от вашия компютър показва само как правилата ви третират user agent.
За да разрешите Google безопасно, проверявайте посетителя, вместо да се доверявате на името. Google документира обратно DNS търсене, последвано от право търсене, и публикува IP диапазоните на общите си ботове в common-crawlers.json:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Заменете примерния адрес с адрес от логовете си. Ако двете търсения не съвпадат, заявката само твърди, че е от Google.
Как да видя дали Gemini използва или цитира сайта ми?
Задайте на Gemini въпросите, които задават купувачите ви, без да назовавате сайта си, и отворете източниците. Помощният център на Google посочва, че бутонът „Източници“ се появява в края на отговора или в текста и отваря панел със свързани връзки, сред които може да има публични уебсайтове. Ако няма бутон „Източници“, Gemini не е дал връзки за този отговор, а Google отбелязва, че не всички отговори ги съдържат. Записвайте кои домейни се появяват и повтаряйте същите въпроси в продължение на няколко седмици.
Разработчиците могат да направят същия тест през Gemini API с Grounding with Google Search. Google казва, че тази функция свързва модела със съдържание от мрежата в реално време, а обоснованите отговори носят цитати с URL адреса и заглавието на всеки източник, така че можете да проверите дали домейнът ви се появява. Отговорите през API може да се различават от това, което показва приложението Gemini.
Някои заявки, свързани с Gemini, все пак стигат до сървъра ви. Google изброява fetchers, задействани от потребителя, като Google-GeminiNotebook, който заявява URL адреси, добавени от потребители като източници в проект на Gemini Notebook, и Google-Agent, използван от агенти в инфраструктурата на Google, които действат по заявка на потребител. Google казва, че тези fetchers обикновено пренебрегват robots.txt, защото потребител е поискал изтеглянето. Посещенията им показват, че хората отварят страниците ви през тези продукти; те не са пътят на обосноваването, описан по-горе.
Влияят ли AI Overviews, AI Mode и правилата за фрагменти на Gemini?
AI Overviews и AI Mode са функции на Google Търсене със собствени контроли. Google изброява nosnippet, data-nosnippet, max-snippet и noindex като начини да ограничите какво се показва от страниците ви. Документацията му за robots мета тага посочва, че nosnippet също пречи съдържанието да се използва като директен вход за AI Overviews и AI Mode, а max-snippet ограничава колко може да се използва. В Search Console има и настройка за генеративния AI в търсенето за целия сайт, която може да изключи сайта от AI Overviews, AI Mode и функциите с генеративен AI в Discover.
Никоя от тези страници не споменава приложението Gemini. Не приемайте, че правило за фрагменти или настройката в Search Console променя обосноваването в Gemini или че Google-Extended променя AI Overviews. Изключението е noindex: според определението на Google за обосноваване страница извън индекса на Търсене не може да се използва за него. За да намерите правила за фрагменти, които може да сте забравили, проверете HTML и заглавките:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" Как AISeeWhy проверява това?
Безплатната проверка на AISeeWhy изтегля страницата ви като Googlebot и другите AI ботове и ботове на търсачки редом с истински браузър, прилага robots.txt за всеки от тях, включително токена Google-Extended, разпознава страници за проверка и показва колко текст пристига без JavaScript. Проверката на AI видимостта, в платените планове, задава въпросите ви през Gemini API с обосноваване чрез Google Търсене с вашия собствен ключ и показва дали марката или домейнът ви се споменава или цитира. Тя не прави заявки към AI Overviews или AI Mode.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Мога ли безплатно да проверя дали Gemini вижда сайта ми?
Да. Search Console, търсене със site:, robots.txt и въпрос в Gemini не струват нищо. Безплатната проверка на AISeeWhy тества Googlebot, правилото за Google-Extended и 14 други бота за една страница на ден.
Има ли Gemini собствен бот?
Не и за обосноваването. Google казва, че Google-Extended няма user agent низ и че обхождането се извършва с вече съществуващите му ботове. Отделни fetchers, задействани от потребителя, като Google-GeminiNotebook и Google-Agent, посещават страници, когато потребител поиска, и според Google обикновено пренебрегват robots.txt.
Ако блокирам Google-Extended, може ли Gemini все пак да споменава марката ми?
Google казва, че няма да използва съдържанието ви за обосноваване в приложенията Gemini. Това правило покрива вашите собствени страници. Google не казва нищо за съдържание в други сайтове, които пишат за вас, така че Gemini може все пак да назове марката ви въз основа на тези източници.
За колко време промяна в robots.txt стига до Gemini?
Google не посочва срок за Gemini. Документацията му за robots.txt казва, че Google обикновено кешира файла до 24 часа, така че изчакайте поне ден, преди да тествате отново, и повече за страници, които Google обхожда рядко.
Използват ли AI Overviews и Gemini едни и същи източници?
Google не документира как двете са свързани. И двете черпят от индекса на Google, но имат различни контроли: правилата за фрагменти и настройката в Search Console за AI Overviews и AI Mode, и Google-Extended за обосноваването в Gemini. Проверявайте ги поотделно.
Как да следя отговорите на Gemini във времето?
Поддържайте постоянен списък с въпроси на купувачи, задавайте ги в Gemini по график и записвайте кои домейни се появяват в източниците. Проверката на AI видимостта в AISeeWhy задава въпросите ви всяка седмица през Gemini API с обосноваване чрез Google Търсене и показва споменаванията редом с до четирима конкуренти. Резултатите от API може да се различават от приложението Gemini.
Източници
- Google: Общите ботове на Google (Googlebot, Google-Extended)
- Google: Fetchers, задействани от потребителя
- Google: Проверка на ботовете на Google
- Google: Как Google тълкува спецификацията на robots.txt
- Помощ за Google Search Console: Инструмент за проверка на URL адреси
- Помощ за приложенията Gemini: Център за поверителност на приложенията Gemini
- Помощ за приложенията Gemini: Преглед на свързани източници от приложенията Gemini
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI функциите и вашият уебсайт
- Google Search Central: Robots мета таг, data-nosnippet и X-Robots-Tag
- Помощ за Google Search Console: Управление на генеративния AI в търсенето
- AISeeWhy: Отчет за достъпа на AI ботове, 2026-11