Дали Gemini го гледа мојот сајт? Како да проверите

Објавено · Ажурирано

Краток одговор

Gemini може да ја користи вашата страница во поткрепен одговор само ако страницата е во индексот на Google Search и ако вашиот robots.txt не ја забранува ознаката Google-Extended. Google наведува дека поткрепата во апликацијата Gemini му дава на моделот содржина од индексот на Google Search и дека Google-Extended контролира дали вашата содржина смее да се користи за тоа. Затоа проверете го индексирањето во Search Console, проверете го robots.txt за Googlebot и Google-Extended, а потоа поставете му ги на Gemini прашањата на вашите купувачи и отворете ги неговите извори.

Gemini нема свој краулер што можете да го барате во дневниците, како што можете за другите асистенти. Google обиколува со своите постојни краулери, а една ознака во robots.txt одлучува што смее Gemini да прави со содржината. Поради тоа проверката е поинаква: најголемиот дел се случува во Google Search Console и во вашиот robots.txt, а последниот чекор во самиот Gemini.

На оваа страница
  1. Проверката за 5 минути, чекор по чекор
  2. Како Gemini добива информации од веб-сајтовите?
  3. Како да проверам дали Google ја индексирал мојата страница?
  4. Дали Google-Extended го спречува Gemini да го користи мојот сајт?
  5. Може ли заштитен ѕид да го блокира Google додека прелистувачите поминуваат?
  6. Како да видам дали Gemini го користи или цитира мојот сајт?
  7. Дали AI Overviews, AI Mode и правилата за исечоци влијаат на Gemini?
  8. Како AISeeWhy го проверува ова?

Проверката за 5 минути, чекор по чекор

  1. Пребарајте во Google site: плус адресата на вашата страница, или користете URL Inspection во Search Console, за да потврдите дека страницата е во индексот на Google.
  2. Отворете го вашиот robots.txt и уверете се дека Googlebot смее да ја преземе страницата и дека Google-Extended не е забранет, освен ако не сте избрале да се откажете.
  3. Извршете бесплатна проверка на страницата на AISeeWhy или испратете едно барање со user agent Googlebot: мора да добие статус 200 и истиот текст како прелистувач.
  4. Поставете му на Gemini прашање на кое одговара вашата страница и отворете ги изворите што ги покажува под одговорот.

Ако страницата не е индексирана, поткрепата на Gemini не може да ја користи, па почнете од чекорот 1. Деловите подолу го објаснуваат секој чекор и што да правите кога не поминува.

Како Gemini добива информации од веб-сајтовите?

Gemini Apps Privacy Hub на Google наведува дека некои одговори на Gemini се поткрепени со резултати од Search. Документацијата на Google за краулерите ја дефинира поткрепата (grounding) како давање содржина од индексот на Google Search на моделот во моментот на барањето, за да се подобрат точноста и релевантноста. Истата страница наведува дека Google-Extended контролира дали содржината што Google ја обиколува може да се користи за обука на моделите Gemini и за поткрепа во Gemini Apps и во Grounding with Google Search на Vertex AI.

Google-Extended нема своја низа на кориснички агент. Google наведува дека обиколувањето се врши со неговите постојни кориснички агенти, а ознаката функционира само во robots.txt како контрола. Во пракса ова дава два услова за Gemini да ја користи вашата страница: Google мора да ја има во својот индекс и вашиот robots.txt не смее да ја забранува за Google-Extended.

Google не документира како Gemini избира кои индексирани страници ќе ги користи или цитира. Исполнувањето на двата услова ја прави вашата страница достапна, но не гарантира дека Gemini ќе ја избере.

Како да проверам дали Google ја индексирал мојата страница?

Користете ја алатката URL Inspection во Google Search Console. За индексираната верзија таа покажува:

Test live URL ја презема страницата во реално време, а View tested page покажува снимка од екранот и HTML-от што го добил Google. Ако на снимката има страница со предизвик или во HTML-от го нема главниот текст, Google, а со него и Gemini, не ја гледа вашата содржина. Request indexing бара од Google повторно да го обиколи URL-то; Google наведува дека тоа обично трае околу еден ден, без гаранција за индексирање.

Дали Google-Extended го спречува Gemini да го користи мојот сајт?

Отворете го вашиот robots.txt и побарајте група што го именува Google-Extended. Disallow: / таму му кажува на Google да не ги користи вашите страници за обука на Gemini или за поткрепа во Gemini Apps. Google наведува дека ознаката не влијае на вклученоста во Google Search и не е сигнал за рангирање, па ова блокирање лесно се пропушта: сообраќајот од пребарување изгледа нормално, додека Gemini не може да ги поткрепи одговорите со вашите страници. Нашата посебна статија за AI Overviews и Google-Extended објаснува што ознаката контролира, а што не во Search.

Бидејќи ознаката никогаш не се појавува во барањата, не можете да ја тестирате со curl ниту да ја најдете во дневниците. Единствената проверка е читањето на датотеката:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Совпаѓањето не зависи од големи и мали букви, а ако ниту една група не го именува Google-Extended, за него важи групата *. Многу сајтови го додадоа ова блокирање кога првпат се зборуваше за обуката на AI. Во нашето истражување на 1.000 најпопуларни домени, 114 од 518-те сајтови со robots.txt го именуваа Google-Extended, а 94 (18,1%) ја забрануваа почетната страница за него. Одлучете дали тоа сè уште одговара на она што го сакате, имајќи предвид дека опфаќа и поткрепа.

Може ли заштитен ѕид да го блокира Google додека прелистувачите поминуваат?

Да. Ако заштитата од ботови или ограничувањето на бројот на барања им одговара на краулерите на Google со 403, 429 или страница со предизвик, Google не може да ја обиколи страницата и со текот на времето таа може да испадне од Search, а со тоа и од поткрепата на Gemini. URL Inspection е најдобриот тест тука, бидејќи Google презема од своите адреси; тест со curl од вашиот компјутер покажува само како вашите правила се однесуваат кон корисничкиот агент.

За безбедно да го дозволите Google, потврдете го посетителот наместо да му верувате на името. Google документира обратно DNS пребарување проследено со директно пребарување и ги објавува IP опсезите на своите вообичаени краулери во common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Заменете ја адресата од примерот со адреса од вашите дневници. Ако двете пребарувања не се совпаѓаат, барањето само тврди дека е од Google.

Како да видам дали Gemini го користи или цитира мојот сајт?

Поставете му ги на Gemini прашањата што ги поставуваат вашите купувачи, без да го именувате вашиот сајт, и отворете ги изворите. Центарот за помош на Google наведува дека копчето Sources се појавува на дното на одговорот или во текстот и отвора панел со поврзани врски што може да вклучуваат јавни веб-сајтови. Ако нема копче Sources, Gemini не дал врски за тој одговор, а Google напоменува дека не сите одговори ги вклучуваат. Забележете кои домени се појавуваат и повторувајте ги истите прашања во текот на неколку недели.

Програмерите можат да го направат истиот тест преку Gemini API со Grounding with Google Search. Google наведува дека тоа го поврзува моделот со веб-содржина во реално време, а поткрепените одговори носат цитати со URL и наслов на секој извор, па можете да проверите дали се појавува вашиот домен. Одговорите од API може да се разликуваат од она што го покажува апликацијата Gemini.

Некои преземања поврзани со Gemini сепак стигнуваат до вашиот сервер. Google наведува преземачи активирани од корисник како Google-GeminiNotebook, кој бара URL-а што корисниците ги додаваат како извори во проект на Gemini Notebook, и Google-Agent, што го користат агенти на инфраструктурата на Google кои дејствуваат по барање на корисник. Google наведува дека овие преземачи генерално го игнорираат robots.txt, бидејќи преземањето го побарал корисник. Нивните посети покажуваат дека луѓето ги отвораат вашите страници преку тие производи; тоа не е патот на поткрепа опишан погоре.

Дали AI Overviews, AI Mode и правилата за исечоци влијаат на Gemini?

AI Overviews и AI Mode се функции на Google Search со свои контроли. Google ги наведува nosnippet, data-nosnippet, max-snippet и noindex како начини да се ограничи она што се прикажува од вашите страници. Неговата документација за robots мета-ознаката наведува дека nosnippet исто така спречува содржината да се користи како директен влез за AI Overviews и AI Mode и дека max-snippet ограничува колку смее да се користи. Search Console има и поставка на ниво на цел сајт, Search generative AI, што може да го исклучи сајтот од AI Overviews, AI Mode и функциите со генеративна AI во Discover.

Ниту една од овие страници не ја спомнува апликацијата Gemini. Не претпоставувајте дека правило за исечоци или поставката во Search Console ја менува поткрепата на Gemini, ниту дека Google-Extended ги менува AI Overviews. noindex е исклучокот: според дефиницијата на Google за поткрепа, страница надвор од индексот на Search не може да се користи за неа. За да ги најдете заборавените правила за исечоци, проверете ги HTML-от и заглавијата:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Како AISeeWhy го проверува ова?

Бесплатната проверка на AISeeWhy ја презема вашата страница како Googlebot и другите AI краулери и краулери за пребарување покрај вистински прелистувач, го применува вашиот robots.txt за секој од нив, вклучително и ознаката Google-Extended, ги препознава страниците со предизвик и покажува колку текст пристигнува без JavaScript. Проверката „Видливост во AI“, во платените планови, ги поставува вашите прашања преку Gemini API со поткрепа од Google Search со вашиот сопствен клуч и покажува дали вашиот бренд или домен е спомнат или цитиран. Таа не испраќа барања до AI Overviews ниту до AI Mode.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Можам ли бесплатно да проверам дали Gemini го гледа мојот сајт?

Да. Search Console, пребарување со site:, вашиот robots.txt и прашање во Gemini не чинат ништо. Бесплатната проверка на AISeeWhy ги тестира Googlebot, правилото за Google-Extended и 14 други краулери за една страница дневно.

Дали Gemini има свој краулер?

Не за поткрепа. Google наведува дека Google-Extended нема низа на кориснички агент и дека обиколувањето се врши со неговите постојни краулери. Посебни преземачи активирани од корисник, како Google-GeminiNotebook и Google-Agent, ги посетуваат страниците кога корисникот ќе побара, а Google наведува дека тие генерално го игнорираат robots.txt.

Ако го блокирам Google-Extended, дали Gemini сè уште може да го спомне мојот бренд?

Google наведува дека нема да ја користи вашата содржина за поткрепа во Gemini Apps. Тоа правило се однесува на вашите сопствени страници. Google не кажува ништо за содржината на други сајтови што пишуваат за вас, па Gemini сè уште може да го именува вашиот бренд од тие извори.

За колку време промената во robots.txt стигнува до Gemini?

Google не дава рок за Gemini. Неговата документација за robots.txt вели дека Google генерално ја кешира датотеката до 24 часа, па почекајте барем еден ден пред повторно да тестирате, а подолго за страници што Google ретко ги обиколува.

Дали AI Overviews и Gemini ги користат истите извори?

Google не документира како се поврзани. Двете се потпираат на индексот на Google, но имаат различни контроли: правилата за исечоци и поставката во Search Console за AI Overviews и AI Mode, а Google-Extended за поткрепата на Gemini. Проверете ги одделно.

Како да ги следам одговорите на Gemini низ времето?

Чувајте фиксна листа прашања од купувачите, поставувајте ги во Gemini по распоред и бележете кои домени се појавуваат во изворите. Проверката „Видливост во AI“ на AISeeWhy ги поставува вашите прашања секоја недела преку Gemini API со поткрепа од Google Search и ги покажува спомнувањата покрај најмногу четири конкуренти. Резултатите од API може да се разликуваат од апликацијата Gemini.

Извори

Уште статии