Kas Gemini näeb minu veebisaiti? Kuidas seda kontrollida
Gemini saab sinu lehte otsingutulemustele toetuvas (grounded) vastuses kasutada ainult siis, kui leht on Google'i otsinguindeksis ja sinu robots.txt ei keela tunnust Google-Extended. Google ütleb, et Gemini rakenduses annab grounding mudelile sisu Google'i otsinguindeksist ja et Google-Extended määrab, kas sinu sisu tohib selleks kasutada. Seega kontrolli indekseerimist Search Console'is, vaata robots.txt-st üle Googlebot ja Google-Extended ning esita siis Geminile oma ostjate küsimusi ja ava tema allikad.
Geminil pole robotit, mida saaksid oma logidest otsida nii, nagu teiste assistentide puhul. Google roomab oma olemasolevate robotitega ja robots.txt tunnus otsustab, mida Gemini sisuga teha tohib. Seetõttu on kontroll teistsugune: suurem osa sellest toimub Google Search Console'is ja sinu robots.txt-s ning viimane samm Geminis endas.
Sellel lehel
- 5-minutiline kontroll samm-sammult
- Kuidas Gemini veebisaitidelt teavet saab?
- Kuidas kontrollida, kas Google on minu lehe indekseerinud?
- Kas Google-Extended takistab Geminil minu saiti kasutamast?
- Kas tulemüür võib Google'it blokeerida, kui brauserid pääsevad läbi?
- Kuidas näha, kas Gemini minu saiti kasutab või sellele viitab?
- Kas AI-ülevaated, AI-režiim ja snippet'i reeglid mõjutavad Geminit?
- Kuidas AISeeWhy seda kontrollib?
5-minutiline kontroll samm-sammult
- Otsi Google'ist
site:koos lehe aadressiga või kasuta Search Console'i URL-i kontrolli, et veenduda, et leht on Google'i indeksis. - Ava oma robots.txt ja veendu, et
Googlebottohib lehte laadida jaGoogle-Extendedei ole keelatud, kui sa just ei otsustanud loobuda. - Käivita lehe tasuta kontroll AISeeWhy's või saada üks päring
Googlebotuser agent'iga: see peab saama olekukoodi 200 ja sama teksti mis brauser. - Esita Geminile küsimus, millele sinu leht vastab, ja ava allikad, mida see vastuse all näitab.
Kui leht pole indekseeritud, ei saa Gemini grounding seda kasutada, nii et alusta sammust 1. Allpool olevad jaotised selgitavad iga sammu ja mida teha, kui see ebaõnnestub.
Kuidas Gemini veebisaitidelt teavet saab?
Google'i Gemini rakenduste privaatsuskeskus (Gemini Apps Privacy Hub) ütleb, et osa Gemini vastuseid toetub otsingutulemustele (grounding). Google'i robotite dokumentatsioon defineerib groundingut kui sisu andmist Google'i otsinguindeksist mudelile päringu ajal, et parandada täpsust ja asjakohasust. Sama leht ütleb, et Google-Extended määrab, kas Google'i roomatud sisu tohib kasutada Gemini mudelite treenimiseks ning groundinguks Gemini rakendustes ja Vertex AI teenuses Grounding with Google Search.
Google-Extended-il pole oma user agent'i stringi. Google ütleb, et roomamist tehakse olemasolevate user agent'idega ja tunnus toimib ainult juhtimisvahendina robots.txt-s. Praktikas tähendab see kaht tingimust, et Gemini sinu lehte kasutaks: Google peab selle oma indeksis hoidma ja sinu robots.txt ei tohi selle jaoks Google-Extended-it keelata.
Google ei dokumenteeri, kuidas Gemini valib, milliseid indekseeritud lehti kasutada või millele viidata. Mõlema tingimuse täitmine teeb sinu lehe kättesaadavaks, kuid ei garanteeri, et Gemini selle valib.
Kuidas kontrollida, kas Google on minu lehe indekseerinud?
Kasuta Google Search Console'i URL-i kontrollimise tööriista (URL Inspection). Indekseeritud versiooni kohta näitab see:
- Kas leht on indekseeritud, või põhjust, näiteks „URL pole Google'ile teada“.
- Viimase roomamise kuupäeva ja seda, kas Google roomas lehte lauaarvuti või mobiili külastajana.
- Kas lehe laadimine õnnestus ja kas robots.txt lubas roomamist.
- Sinu määratud kanoonilise URL-i ja Google'i valitud kanoonilise URL-i. Kui need erinevad, käsitleb Google oma valikut lehe autoriteetse versioonina.
Live-URL-i test laadib lehe reaalajas ja testitud lehe vaade näitab ekraanipilti ning HTML-i, mille Google sai. Kui ekraanipildil on kontrollileht või HTML-ist puudub sinu põhitekst, ei näe sinu sisu Google ega koos temaga Gemini. Indekseerimistaotlus palub Google'il URL-i uuesti roomata; Google ütleb, et tavaliselt võtab see umbes päeva, ilma indekseerimise garantiita.
Kas Google-Extended takistab Geminil minu saiti kasutamast?
Ava oma robots.txt ja otsi rühma, mis nimetab Google-Extended-it. Rida Disallow: / seal ütleb Google'ile, et ta ei kasutaks sinu lehti Gemini treenimiseks ega groundinguks Gemini rakendustes. Google ütleb, et tunnus ei mõjuta Google'i otsingusse kaasamist ega ole järjestussignaal, nii et seda blokeeringut on lihtne märkamata jätta: otsinguliiklus paistab normaalne, samal ajal kui Gemini ei saa oma vastuseid sinu lehtedele toetada. Meie eraldi artikkel AI-ülevaadete ja Google-Extended-i kohta selgitab, mida tunnus otsingus juhib ja mida mitte.
Kuna tunnus ei ilmu kunagi päringutes, ei saa seda testida curl-iga ega logidest leida. Ainus kontroll on faili lugemine:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" Võrdlemine ei sõltu suur- ja väiketähtedest ning kui ükski rühm ei nimeta Google-Extended-it, kehtib selle kohta rühm *. Paljud saidid lisasid selle blokeeringu siis, kui AI treenimisest esimest korda räägiti. Meie uuringus 1000 populaarseima domeeni kohta nimetas 518-st robots.txt-ga saidist 114 Google-Extended-it ja 94 (18,1%) keelas sellele oma avalehe. Otsusta, kas see vastab endiselt sinu soovile, arvestades, et see hõlmab ka groundingut.
Kas tulemüür võib Google'it blokeerida, kui brauserid pääsevad läbi?
Jah. Kui robotikaitse või päringute piirang vastab Google'i robotitele veaga 403, 429 või kontrollilehega, ei saa Google lehte roomata ja aja jooksul võib leht otsingust ning koos sellega ka Gemini groundingust välja langeda. URL-i kontrollimine on siin parim test, sest Google laadib lehe oma aadressidelt; curl-test sinu arvutist näitab ainult seda, kuidas sinu reeglid user agent'it kohtlevad.
Et Google'it turvaliselt lubada, kontrolli külastajat, selle asemel et nime usaldada. Google dokumenteerib pöörd-DNS-päringu, millele järgneb otsepäring, ja avaldab oma tavaliste robotite IP-vahemikud failis common-crawlers.json:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Asenda näite aadress mõnega oma logidest. Kui kaks päringut ei klapi, ainult väidab päring end Google'iks.
Kuidas näha, kas Gemini minu saiti kasutab või sellele viitab?
Esita Geminile küsimusi, mida sinu ostjad küsivad, ilma oma saiti nimetamata, ja ava allikad. Google'i abikeskus ütleb, et nupp Allikad ilmub vastuse alla või teksti sisse ja avab paneeli seotud linkidega, mille hulgas võib olla avalikke veebisaite. Kui nuppu Allikad pole, ei andnud Gemini selle vastuse jaoks linke, ja Google märgib, et kõik vastused neid ei sisalda. Pane kirja, millised domeenid ilmuvad, ja korda samu küsimusi paari nädala jooksul.
Arendajad saavad sama testi teha Gemini API kaudu funktsiooniga Grounding with Google Search. Google ütleb, et see ühendab mudeli reaalajas veebisisuga ja otsingule toetuvad vastused sisaldavad viiteid iga allika URL-i ja pealkirjaga, nii et saad kontrollida, kas sinu domeen ilmub. API vastused võivad erineda sellest, mida näitab Gemini rakendus.
Mõned Geminiga seotud päringud jõuavad siiski sinu serverisse. Google loetleb kasutaja algatatud laadijaid, näiteks Google-GeminiNotebook, mis küsib URL-e, mille kasutajad lisavad Gemini Notebooki projektile allikateks, ja Google-Agent, mida kasutavad Google'i taristus töötavad agendid, kes tegutsevad kasutaja palvel. Google ütleb, et need laadijad üldiselt eiravad robots.txt-d, sest laadimist palus kasutaja. Nende külastused näitavad, et inimesed avavad sinu lehti nende toodete kaudu; need ei ole eespool kirjeldatud groundingu tee.
Kas AI-ülevaated, AI-režiim ja snippet'i reeglid mõjutavad Geminit?
AI-ülevaated ja AI-režiim on Google'i otsingu funktsioonid, millel on oma juhtimisvahendid. Google loetleb nosnippet, data-nosnippet, max-snippet ja noindex kui viise piirata, mida sinu lehtedelt näidatakse. Tema robots-metasildi dokumentatsioon ütleb, et nosnippet takistab ka sisu kasutamist AI-ülevaadete ja AI-režiimi otsese sisendina ning et max-snippet piirab, kui palju tohib kasutada. Search Console'is on lisaks kogu saiti hõlmav otsingu generatiivse AI seade, mis võib saidi välja jätta AI-ülevaadetest, AI-režiimist ja Discoveri generatiivse AI funktsioonidest.
Ükski neist lehtedest ei maini Gemini rakendust. Ära eelda, et snippet'i reegel või Search Console'i seade muudab Gemini groundingut või et Google-Extended muudab AI-ülevaateid. Erand on noindex: Google'i groundingu definitsiooni järgi ei saa otsinguindeksist väljas olevat lehte selleks kasutada. Et leida snippet'i reegleid, mille oled ehk unustanud, kontrolli HTML-i ja päiseid:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" Kuidas AISeeWhy seda kontrollib?
AISeeWhy tasuta kontroll laadib sinu lehe Googlebot-ina ja teiste AI- ja otsingurobotitena päris brauseri kõrval, rakendab igaühele sinu robots.txt-d, sealhulgas tunnust Google-Extended, tuvastab kontrollilehed ja näitab, kui palju teksti jõuab kohale ilma JavaScriptita. AI-nähtavuse kontroll, mis on prooviperioodil ja tasulistes pakettides, esitab sinu küsimused Gemini API kaudu Google'i otsingu groundinguga sinu enda võtmega ja näitab, kas sinu brändi või domeeni mainitakse või sellele viidatakse. AI-ülevaateid ega AI-režiimi see ei päri.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas saan tasuta kontrollida, kas Gemini näeb minu saiti?
Jah. Search Console, site: otsing, sinu robots.txt ja küsimus Geminile ei maksa midagi. AISeeWhy tasuta kontroll testib robotit Googlebot, Google-Extended reeglit ja 14 muud robotit ühe lehe kohta päevas.
Kas Geminil on oma robot?
Groundingu jaoks mitte. Google ütleb, et Google-Extended-il pole user agent'i stringi ja roomamist tehakse olemasolevate robotitega. Eraldi kasutaja algatatud laadijad, nagu Google-GeminiNotebook ja Google-Agent, külastavad lehti, kui kasutaja seda palub, ja Google ütleb, et need üldiselt eiravad robots.txt-d.
Kui blokeerin Google-Extendedi, kas Gemini võib mu brändi ikka mainida?
Google ütleb, et ta ei kasuta sinu sisu Gemini rakenduste groundinguks. See reegel hõlmab sinu enda lehti. Google ei ütle midagi sisu kohta teistel saitidel, mis sinust kirjutavad, nii et Gemini võib sinu brändi nende allikate põhjal ikkagi nimetada.
Kui kiiresti jõuab robots.txt muudatus Geminini?
Google ei anna Gemini kohta aega. Tema robots.txt dokumentatsioon ütleb, et Google hoiab faili üldiselt vahemälus kuni 24 tundi, nii et oota enne uut testi vähemalt päev ja harva roomatavate lehtede puhul kauem.
Kas AI-ülevaated ja Gemini kasutavad samu allikaid?
Google ei dokumenteeri, kuidas need omavahel seotud on. Mõlemad ammutavad Google'i indeksist, kuid neil on erinevad juhtimisvahendid: snippet'i reeglid ja Search Console'i seade AI-ülevaadete ja AI-režiimi jaoks ning Google-Extended Gemini groundingu jaoks. Kontrolli neid eraldi.
Kuidas Gemini vastuseid aja jooksul jälgida?
Hoia kindlat ostjate küsimuste loendit, esita need Geminile regulaarselt ja pane kirja, millised domeenid allikates ilmuvad. AISeeWhy AI-nähtavuse kontroll esitab sinu küsimused iga nädal Gemini API kaudu Google'i otsingu groundinguga ja näitab mainimisi kuni nelja konkurendi kõrval. API tulemused võivad Gemini rakendusest erineda.
Allikad
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: AI Crawler Access Report, 2026-11