Да ли Gemini види мој сајт? Како да проверите
Gemini може да користи вашу страницу у утемељеном одговору само ако је страница у Google-овом индексу претраге и ако ваш robots.txt не забрањује токен Google-Extended. Google наводи да утемељење (grounding) у апликацији Gemini моделу даје садржај из индекса Google претраге и да Google-Extended одређује да ли ваш садржај сме да се користи за то. Зато проверите индексирање у Search Console-у, проверите robots.txt за Googlebot и Google-Extended, а затим поставите Gemini-ју питања својих купаца и отворите његове изворе.
Gemini нема краулер који можете да пратите у логовима као код других асистената. Google пролази кроз сајтове својим постојећим краулерима, а robots.txt токен одлучује шта Gemini сме да ради са садржајем. Зато је провера другачија: већи део се обавља у Google Search Console-у и у вашем robots.txt-у, а последњи корак у самом Gemini-ју.
На овој страници
- Провера од 5 минута, корак по корак
- Како Gemini добија информације са сајтова?
- Како да проверим да ли је Google индексирао моју страницу?
- Да ли Google-Extended спречава Gemini да користи мој сајт?
- Може ли заштитни зид да блокира Google док прегледачи пролазе?
- Како да видим да ли Gemini користи или цитира мој сајт?
- Да ли AI Overviews, AI Mode и правила за исечке утичу на Gemini?
- Како AISeeWhy ово проверава?
Провера од 5 минута, корак по корак
- Претражите Google за
site:и адресу своје странице или користите Проверу URL-а у Search Console да бисте потврдили да је страница у Google-овом индексу. - Отворите свој robots.txt и уверите се да
Googlebotсме да преузме страницу и даGoogle-Extendedније забрањен, осим ако сте одлучили да се искључите. - Покрените бесплатну проверу странице на AISeeWhy или пошаљите један захтев са user agent-ом
Googlebot: мора да добије статус 200 и исти текст као прегледач. - Поставите Gemini-ју питање на које ваша страница одговара и отворите изворе које приказује испод одговора.
Ако страница није индексирана, Gemini не може да је користи као извор, па почните од 1. корака. Одељци у наставку објашњавају сваки корак и шта да урадите када не прође.
Како Gemini добија информације са сајтова?
Google-ов Gemini Apps Privacy Hub наводи да су неки Gemini-јеви одговори утемељени на резултатима претраге. Google-ова документација о краулерима утемељење дефинише као давање садржаја из индекса Google претраге моделу у тренутку упита, ради веће тачности и релевантности. Иста страница наводи да Google-Extended одређује да ли садржај који Google преузме сме да се користи за тренирање Gemini модела и за утемељење у Gemini апликацијама и у Grounding with Google Search на Vertex AI.
Google-Extended нема сопствени user agent стринг. Google наводи да се преузимање обавља његовим постојећим user agent-има, а да токен ради само у robots.txt-у, као контрола. У пракси то даје два услова да Gemini користи вашу страницу: Google мора да је има у индексу, а ваш robots.txt не сме да је забрани за Google-Extended.
Google не документује како Gemini бира које ће индексиране странице користити или цитирати. Ако испуните оба услова, ваша страница постаје доступна, али то не гарантује да ће је Gemini изабрати.
Како да проверим да ли је Google индексирао моју страницу?
Користите алатку URL Inspection у Google Search Console-у. За индексирану верзију она приказује:
- Да ли је страница индексирана или разлог, као што је „URL is unknown to Google”.
- Датум последњег преузимања и да ли ју је Google преузео као посетилац са рачунара или са мобилног уређаја.
- Да ли је преузимање странице успело и да ли је robots.txt дозволио преузимање.
- Канонску адресу коју сте ви навели и канонску адресу коју је изабрао Google. Ако се разликују, Google свој избор сматра меродавном верзијом странице.
Test live URL преузима страницу у реалном времену, а View tested page приказује снимак екрана и HTML који је Google добио. Ако је на снимку страница са изазовом или у HTML-у нема вашег главног текста, Google, а с њим и Gemini, не види ваш садржај. Request indexing тражи од Google-а да поново преузме URL; Google наводи да то обично траје око дан, без гаранције да ће страница бити индексирана.
Да ли Google-Extended спречава Gemini да користи мој сајт?
Отворите robots.txt и потражите групу која именује Google-Extended. Disallow: / у њој говори Google-у да ваше странице не користи за тренирање Gemini-ја ни за утемељење у Gemini апликацијама. Google наводи да токен не утиче на укључивање у Google претрагу и да није сигнал за рангирање, па је ову блокаду лако превидети: саобраћај из претраге изгледа нормално, а Gemini не може да утемељи одговоре на вашим страницама. Наш посебан чланак о AI Overviews и Google-Extended објашњава шта токен у претрази контролише, а шта не.
Пошто се токен никада не појављује у захтевима, не можете да га тестирате помоћу curl нити да га нађете у логовима. Читање фајла је једина провера:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" Поређење не разликује велика и мала слова, а ако ниједна група не именује Google-Extended, на њега се примењује група *. Многи сајтови су додали ову блокаду када се први пут расправљало о тренирању AI модела. У нашој студији 1.000 најпопуларнијих домена, од 518 сајтова са robots.txt-ом, 114 је именовало Google-Extended, а 94 (18,1%) су за њега забранила почетну страницу. Одлучите да ли то и даље одговара ономе што желите, с обзиром на то да покрива и утемељење.
Може ли заштитни зид да блокира Google док прегледачи пролазе?
Да. Ако заштита од ботова или ограничење брзине одговара Google-овим краулерима са 403, 429 или страницом са изазовом, Google не може да преузме страницу, па она с временом може да испадне из претраге, а с тим и из Gemini-јевог утемељења. URL Inspection је овде најбољи тест, јер Google преузима са својих адреса; тест помоћу curl са вашег рачунара показује само како ваша правила третирају user agent.
Да бисте безбедно дозволили Google, проверите посетиоца уместо да верујете имену. Google документује обрнуто DNS претраживање праћено директним, а IP опсеге својих уобичајених краулера објављује у common-crawlers.json:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Замените пример адресе адресом из својих логова. Ако се два претраживања не поклапају, захтев се само представља као Google.
Како да видим да ли Gemini користи или цитира мој сајт?
Поставите Gemini-ју питања која постављају ваши купци, без помињања свог сајта, и отворите изворе. Google-ов центар за помоћ наводи да се дугме Sources појављује на дну одговора или у тексту и отвара панел са повезаним линковима, међу којима могу да буду јавни сајтови. Ако дугмета Sources нема, Gemini за тај одговор није дао линкове, а Google напомиње да их немају сви одговори. Забележите који се домени појављују и понављајте иста питања неколико недеља.
Програмери исти тест могу да покрену преко Gemini API-ја са Grounding with Google Search. Google наводи да то повезује модел са садржајем веба у реалном времену, а утемељени одговори садрже цитате са URL-ом и насловом сваког извора, па можете да проверите да ли се ваш домен појављује. Одговори преко API-ја могу да се разликују од онога што приказује апликација Gemini.
Нека преузимања повезана са Gemini-јем ипак стижу до вашег сервера. Google наводи преузиматеље које покрећу корисници, као што је Google-GeminiNotebook, који захтева URL-ове које корисници додају као изворе у пројекат Gemini Notebook, и Google-Agent, који користе агенти на Google-овој инфраструктури када делују на захтев корисника. Google наводи да ови преузиматељи углавном занемарују robots.txt, јер је преузимање затражио корисник. Њихове посете показују да људи отварају ваше странице кроз те производе; то није пут утемељења описан изнад.
Да ли AI Overviews, AI Mode и правила за исечке утичу на Gemini?
AI Overviews и AI Mode су функције Google претраге са сопственим контролама. Google наводи nosnippet, data-nosnippet, max-snippet и noindex као начине да ограничите шта се приказује са ваших страница. Његова документација о robots meta ознаци каже да nosnippet такође спречава да се садржај користи као директан улаз за AI Overviews и AI Mode, а да max-snippet ограничава колико сме да се користи. Search Console има и подешавање Search generative AI на нивоу целог сајта, којим се сајт може искључити из AI Overviews, AI Mode и функција генеративне AI у Discover-у.
Ниједна од ових страница не помиње апликацију Gemini. Немојте претпостављати да правило за исечке или подешавање у Search Console-у мења Gemini-јево утемељење, нити да Google-Extended мења AI Overviews. noindex је изузетак: према Google-овој дефиницији утемељења, страница ван индекса претраге не може да се користи за њега. Да бисте пронашли правила за исечке која сте можда заборавили, проверите HTML и заглавља:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" Како AISeeWhy ово проверава?
Бесплатна AISeeWhy провера преузима вашу страницу као Googlebot и други AI краулери и краулери претраживача поред правог прегледача, примењује ваш robots.txt на сваки од њих, укључујући токен Google-Extended, препознаје странице са изазовом и показује колико текста стиже без JavaScript-а. Провера AI видљивости, у плаћеним плановима, поставља ваша питања преко Gemini API-ја са утемељењем у Google претрази уз ваш сопствени кључ и показује да ли се ваш бренд или домен помиње или цитира. Не шаље упите у AI Overviews ни AI Mode.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Могу ли бесплатно да проверим да ли Gemini види мој сајт?
Да. Search Console, претрага site:, ваш robots.txt и питање у Gemini-ју не коштају ништа. Бесплатна AISeeWhy провера тестира Googlebot, правило Google-Extended и 14 других краулера за једну страницу дневно.
Да ли Gemini има сопствени краулер?
Не за утемељење. Google наводи да Google-Extended нема user agent стринг и да се преузимање обавља постојећим краулерима. Посебни преузиматељи које покрећу корисници, као што су Google-GeminiNotebook и Google-Agent, посећују странице када корисник то затражи, а Google наводи да углавном занемарују robots.txt.
Ако блокирам Google-Extended, може ли Gemini ипак да помене мој бренд?
Google наводи да неће користити ваш садржај за утемељење у Gemini апликацијама. То правило покрива ваше сопствене странице. Google ништа не каже о садржају на другим сајтовима који пишу о вама, па Gemini и даље може да наведе ваш бренд на основу тих извора.
Колико треба да измена у robots.txt-у стигне до Gemini-ја?
Google не наводи рок за Gemini. Његова документација о robots.txt-у каже да Google фајл углавном кешира до 24 сата, па сачекајте бар дан пре поновног тестирања, а дуже за странице које Google ретко поново преузима.
Да ли AI Overviews и Gemini користе исте изворе?
Google не документује како су повезани. Оба се ослањају на Google-ов индекс, али имају различите контроле: правила за исечке и подешавање у Search Console-у за AI Overviews и AI Mode, а Google-Extended за утемељење у Gemini-ју. Проверавајте их одвојено.
Како да пратим Gemini-јеве одговоре током времена?
Направите сталну листу питања купаца, постављајте их Gemini-ју по распореду и бележите који се домени појављују у изворима. AISeeWhy провера AI видљивости сваке недеље покреће ваша питања преко Gemini API-ја са утемељењем у Google претрази и приказује помињања поред највише четири конкурента. Резултати из API-ја могу да се разликују од апликације Gemini.
Извори
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: извештај о приступу AI краулера, 2026-11