Näkeekö Gemini sivustoni? Näin tarkistat

Julkaistu · Päivitetty

Lyhyt vastaus

Gemini voi käyttää sivuasi grounding-vastauksessa vain, jos sivu on Googlen hakuindeksissä eikä robots.txt estä Google-Extended-tunnistetta. Googlen mukaan grounding Gemini-sovelluksessa antaa mallille sisältöä Google-haun indeksistä, ja Google-Extended määrää, saako sisältöäsi käyttää siihen. Tarkista siis indeksointi Search Consolessa, tarkista robots.txt:stä Googlebot ja Google-Extended, kysy sitten Geminiltä ostajiesi kysymykset ja avaa sen lähteet.

Geminillä ei ole crawleria, jota voisit seurata lokeistasi samaan tapaan kuin muiden avustajien kohdalla. Google indeksoi olemassa olevilla crawlereillaan, ja robots.txt-tunniste ratkaisee, mitä Gemini saa sisällöllä tehdä. Siksi tarkistus on erilainen: suurin osa tapahtuu Google Search Consolessa ja robots.txt:ssäsi, ja viimeinen vaihe itse Geminissä.

Tällä sivulla
  1. 5 minuutin tarkistus vaihe vaiheelta
  2. Miten Gemini saa tietoa verkkosivustoilta?
  3. Miten tarkistan, onko Google indeksoinut sivuni?
  4. Estääkö Google-Extended Geminiä käyttämästä sivustoani?
  5. Voiko palomuuri estää Googlen, vaikka selaimet pääsevät läpi?
  6. Miten näen, käyttääkö tai lainaako Gemini sivustoani?
  7. Vaikuttavatko AI Overviews, AI Mode ja snippet-säännöt Geminiin?
  8. Miten AISeeWhy tarkistaa tämän?

5 minuutin tarkistus vaihe vaiheelta

  1. Hae Googlesta site: ja sivusi osoite tai käytä Search Consolen URL-tarkistusta varmistaaksesi, että sivu on Googlen indeksissä.
  2. Avaa robots.txt ja varmista, että Googlebot saa hakea sivun eikä Google-Extended ole kielletty, ellet ole päättänyt kieltäytyä.
  3. Aja sivulle ilmainen tarkistus AISeeWhyssa tai lähetä yksi pyyntö Googlebot-käyttäjäagentilla: sen on saatava tila 200 ja sama teksti kuin selain.
  4. Kysy Geminiltä kysymys, johon sivusi vastaa, ja avaa lähteet, jotka se näyttää vastauksen alla.

Jos sivu ei ole indeksissä, Geminin grounding ei voi käyttää sitä, joten aloita vaiheesta 1. Alla olevat osiot selittävät jokaisen vaiheen ja mitä tehdä, jos se epäonnistuu.

Miten Gemini saa tietoa verkkosivustoilta?

Googlen Gemini Apps Privacy Hub kertoo, että osa Geminin vastauksista perustuu hakutuloksiin (grounding). Googlen crawler-dokumentaatio määrittelee groundingin niin, että mallille annetaan kehotteen hetkellä sisältöä Google-haun indeksistä, jotta vastaukset olisivat paikkansapitävämpiä ja osuvampia. Samalla sivulla kerrotaan, että Google-Extended määrää, saako Googlen indeksoimaa sisältöä käyttää Gemini-mallien koulutukseen sekä groundingiin Gemini-sovelluksissa ja Vertex AI:n Grounding with Google Search -toiminnossa.

Google-Extendedillä ei ole omaa user agent -merkkijonoa. Googlen mukaan indeksointi tehdään sen olemassa olevilla user agenteilla, ja tunniste toimii vain robots.txt:n ohjauskeinona. Käytännössä Geminin on täytettävä kaksi ehtoa käyttääkseen sivuasi: Googlella on oltava se indeksissään, eikä robots.txt saa estää Google-Extendediä siltä.

Google ei kerro, miten Gemini valitsee, mitä indeksoituja sivuja se käyttää tai lainaa. Kun molemmat ehdot täyttyvät, sivusi on käytettävissä; se ei takaa, että Gemini valitsee sen.

Miten tarkistan, onko Google indeksoinut sivuni?

Käytä Google Search Consolen URL Inspection -työkalua. Indeksoidusta versiosta se näyttää:

Test live URL noutaa sivun reaaliajassa, ja View tested page näyttää kuvakaappauksen ja Googlen saaman HTML:n. Jos kuvakaappaus on haastesivu tai HTML:stä puuttuu pääteksti, Google, ja sen mukana Gemini, ei näe sisältöäsi. Request indexing pyytää Googlea indeksoimaan URL:n uudelleen; Googlen mukaan se vie yleensä noin vuorokauden, eikä indeksointia taata.

Estääkö Google-Extended Geminiä käyttämästä sivustoani?

Avaa robots.txt ja etsi ryhmä, jossa mainitaan Google-Extended. Siellä oleva Disallow: / kieltää Googlea käyttämästä sivujasi Geminin koulutukseen tai groundingiin Gemini-sovelluksissa. Googlen mukaan tunniste ei vaikuta Google-hakuun pääsyyn eikä ole sijoitustekijä, joten esto jää helposti huomaamatta: hakuliikenteesi näyttää normaalilta, mutta Gemini ei voi perustaa vastauksiaan sivuihisi. Erillinen artikkelimme AI Overviewsista ja Google-Extendedistä kertoo, mitä tunniste haussa ohjaa ja mitä ei.

Koska tunniste ei koskaan näy pyynnöissä, sitä ei voi testata curlilla eikä löytää lokeista. Tiedoston lukeminen on ainoa tarkistus:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Vertailu ei huomioi kirjainkokoa, ja jos mikään ryhmä ei mainitse Google-Extendediä, siihen sovelletaan *-ryhmää. Moni sivusto lisäsi tämän eston, kun tekoälykoulutuksesta alettiin puhua. Tutkimuksessamme, joka kattoi 1 000 suosituinta verkkotunnusta, 518 robots.txt-tiedoston tarjoavasta sivustosta 114 mainitsi Google-Extendedin ja 94 (18,1 %) esti siltä etusivunsa. Mieti, vastaako se yhä tahtoasi, kun esto kattaa myös groundingin.

Voiko palomuuri estää Googlen, vaikka selaimet pääsevät läpi?

Voi. Jos bottisuojaus tai nopeusrajoitus vastaa Googlen crawlereille 403- tai 429-koodilla tai haastesivulla, Google ei pysty indeksoimaan sivua, ja ajan mittaan sivu voi pudota hausta ja samalla Geminin groundingista. URL Inspection on tässä paras testi, koska Google noutaa sivun omista osoitteistaan; curl-testi omalta koneeltasi näyttää vain, miten sääntösi kohtelevat user agentia.

Jotta voit sallia Googlen turvallisesti, varmenna vierailija sen sijaan, että luottaisit nimeen. Google dokumentoi käänteisen DNS-haun ja sen jälkeisen tavallisen haun sekä julkaisee yleisten crawleriensa IP-alueet tiedostossa common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Korvaa esimerkkiosoite osoitteella lokeistasi. Jos hakujen tulokset eivät täsmää, pyyntö vain väittää olevansa Google.

Miten näen, käyttääkö tai lainaako Gemini sivustoani?

Kysy Geminiltä ostajiesi kysymykset mainitsematta sivustoasi ja avaa lähteet. Googlen ohjekeskuksen mukaan Sources-painike näkyy vastauksen alaosassa tai tekstin seassa ja avaa paneelin, jossa on aiheeseen liittyviä linkkejä, myös julkisia verkkosivustoja. Jos Sources-painiketta ei ole, Gemini ei antanut linkkejä siihen vastaukseen, ja Google huomauttaa, ettei kaikissa vastauksissa ole niitä. Kirjaa, mitkä verkkotunnukset näkyvät, ja toista samat kysymykset muutaman viikon ajan.

Kehittäjät voivat tehdä saman testin Gemini API:n kautta Grounding with Google Search -toiminnolla. Googlen mukaan se yhdistää mallin reaaliaikaiseen verkkosisältöön, ja grounding-vastauksissa on lähdeviitteet kunkin lähteen URL:lla ja otsikolla, joten voit tarkistaa, näkyykö verkkotunnuksesi. API:n vastaukset voivat poiketa siitä, mitä Gemini-sovellus näyttää.

Osa Geminiin liittyvistä noudoista tulee palvelimellesi asti. Google listaa käyttäjän käynnistämiä noutajia, kuten Google-GeminiNotebook, joka pyytää URL-osoitteita, joita käyttäjät lisäävät lähteiksi Gemini Notebook -projektiin, ja Google-Agent, jota Googlen infrastruktuurissa toimivat agentit käyttävät käyttäjän pyynnöstä. Googlen mukaan nämä noutajat yleensä ohittavat robots.txt:n, koska käyttäjä pyysi noutoa. Niiden käynnit kertovat, että ihmiset avaavat sivujasi näiden tuotteiden kautta; ne eivät ole yllä kuvattu grounding-reitti.

Vaikuttavatko AI Overviews, AI Mode ja snippet-säännöt Geminiin?

AI Overviews ja AI Mode ovat Google-haun ominaisuuksia, joilla on omat ohjauskeinonsa. Google mainitsee nosnippet-, data-nosnippet-, max-snippet- ja noindex-säännöt keinoina rajoittaa, mitä sivuiltasi näytetään. Sen robots-metatagin dokumentaation mukaan nosnippet estää myös sisällön käytön AI Overviewsin ja AI Moden suorana syötteenä, ja max-snippet rajoittaa, kuinka paljon saa käyttää. Search Consolessa on lisäksi koko sivustoa koskeva Search generative AI -asetus, jolla sivuston voi jättää pois AI Overviewsista, AI Modesta ja Discoverin generatiivisen tekoälyn ominaisuuksista.

Mikään näistä sivuista ei mainitse Gemini-sovellusta. Älä oleta, että snippet-sääntö tai Search Consolen asetus muuttaa Geminin groundingia tai että Google-Extended muuttaa AI Overviewsia. noindex on poikkeus: Googlen grounding-määritelmän mukaan hakuindeksin ulkopuolista sivua ei voi käyttää siihen. Löytääksesi mahdollisesti unohtuneet snippet-säännöt tarkista HTML ja otsakkeet:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Miten AISeeWhy tarkistaa tämän?

Ilmainen AISeeWhy-tarkistus noutaa sivusi crawlerina Googlebot sekä muina tekoäly- ja hakucrawlereina oikean selaimen rinnalla, soveltaa robots.txt:täsi jokaiseen, myös Google-Extended-tunnisteeseen, tunnistaa haastesivut ja näyttää, kuinka paljon tekstiä tulee perille ilman JavaScriptiä. Näkyvyys tekoälyssä -tarkistus, joka sisältyy maksullisiin tilauksiin, kysyy kysymyksesi Gemini API:n kautta Google-haun groundingilla omalla avaimellasi ja näyttää, mainitaanko tai lainataanko brändiäsi tai verkkotunnustasi. Se ei tee kyselyjä AI Overviewsiin eikä AI Modeen.

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Voinko tarkistaa ilmaiseksi, näkeekö Gemini sivustoni?

Kyllä. Search Console, site:-haku, robots.txt ja kysymys Geminille eivät maksa mitään. AISeeWhyn ilmainen tarkistus testaa Googlebot-crawlerin, Google-Extended-säännön ja 14 muuta crawleria yhdelle sivulle päivässä.

Onko Geminillä oma crawler?

Ei groundingia varten. Googlen mukaan Google-Extendedillä ei ole user agent -merkkijonoa, ja indeksointi tehdään olemassa olevilla crawlereilla. Erilliset käyttäjän käynnistämät noutajat, kuten Google-GeminiNotebook ja Google-Agent, käyvät sivuilla käyttäjän pyynnöstä, ja Googlen mukaan ne yleensä ohittavat robots.txt:n.

Jos estän Google-Extendedin, voiko Gemini silti mainita brändini?

Googlen mukaan se ei käytä sisältöäsi groundingiin Gemini-sovelluksissa. Sääntö koskee omia sivujasi. Google ei sano mitään sinusta kirjoittavien muiden sivustojen sisällöstä, joten Gemini voi yhä mainita brändisi niiden lähteiden perusteella.

Kuinka kauan robots.txt-muutoksen välittyminen Geminille kestää?

Google ei ilmoita aikaa Geminin osalta. Sen robots.txt-dokumentaation mukaan Google säilyttää tiedostoa välimuistissa yleensä enintään 24 tuntia, joten odota vähintään vuorokausi ennen uutta testiä, ja kauemmin sivuilla, jotka Google indeksoi harvoin uudelleen.

Käyttävätkö AI Overviews ja Gemini samoja lähteitä?

Google ei kerro, miten ne liittyvät toisiinsa. Molemmat ammentavat Googlen indeksistä, mutta niillä on eri ohjauskeinot: snippet-säännöt ja Search Consolen asetus AI Overviewsille ja AI Modelle, ja Google-Extended Geminin groundingille. Tarkista ne erikseen.

Miten seuraan Geminin vastauksia ajan mittaan?

Pidä kiinteä luettelo ostajien kysymyksistä, kysy ne Geminiltä säännöllisesti ja kirjaa, mitkä verkkotunnukset näkyvät lähteissä. AISeeWhyn Näkyvyys tekoälyssä -tarkistus ajaa kysymyksesi viikoittain Gemini API:n kautta Google-haun groundingilla ja näyttää maininnat enintään neljän kilpailijan rinnalla. API:n tulokset voivat poiketa Gemini-sovelluksesta.

Lähteet

Lisää artikkeleita