Ar Gemini mato mano svetainę? Kaip patikrinti

Paskelbta · Atnaujinta

Trumpas atsakymas

Gemini gali panaudoti jūsų puslapį pagrįstame (grounded) atsakyme tik tada, jei puslapis yra Google Search indekse, o jūsų robots.txt nedraudžia Google-Extended žetono. Google teigia, kad pagrindimas (grounding) Gemini programėlėje pateikia modeliui turinį iš Google Search indekso, o ar jūsų turinį galima tam naudoti, valdo Google-Extended. Todėl patikrinkite indeksavimą Search Console, robots.txt peržiūrėkite dėl Googlebot ir Google-Extended, tada užduokite Gemini savo pirkėjų klausimus ir atidarykite jo šaltinius.

Gemini neturi roboto, kurio galėtumėte ieškoti žurnaluose, kaip kitų asistentų atveju. Google naršo savo esamais robotais, o robots.txt žetonas nusprendžia, ką Gemini gali daryti su turiniu. Todėl ir patikra kitokia: didžioji jos dalis vyksta Google Search Console ir jūsų robots.txt, o paskutinis žingsnis – pačiame Gemini.

Šiame puslapyje
  1. 5 minučių patikra žingsnis po žingsnio
  2. Kaip Gemini gauna informaciją iš svetainių?
  3. Kaip patikrinti, ar Google indeksavo mano puslapį?
  4. Ar Google-Extended neleidžia Gemini naudoti mano svetainės?
  5. Ar ugniasienė gali blokuoti Google, kai naršyklės praeina?
  6. Kaip pamatyti, ar Gemini naudoja ar cituoja mano svetainę?
  7. Ar AI Overviews, AI Mode ir fragmentų taisyklės veikia Gemini?
  8. Kaip tai tikrina AISeeWhy?

5 minučių patikra žingsnis po žingsnio

  1. Ieškokite Google site: su savo puslapio adresu arba naudokite URL tikrinimą Search Console, kad įsitikintumėte, jog puslapis yra Google indekse.
  2. Atidarykite savo robots.txt ir įsitikinkite, kad Googlebot gali atsisiųsti puslapį, o Google-Extended neuždraustas, nebent pasirinkote jo atsisakyti.
  3. Paleiskite nemokamą puslapio patikrą AISeeWhy arba išsiųskite vieną užklausą su Googlebot naudotojo agentu: ji turi gauti būseną 200 ir tą patį tekstą kaip naršyklė.
  4. Užduokite Gemini klausimą, į kurį atsako jūsų puslapis, ir atidarykite šaltinius, kuriuos jis rodo po atsakymu.

Jei puslapis neindeksuotas, Gemini jo negali panaudoti atsakymams pagrįsti, todėl pradėkite nuo 1 žingsnio. Toliau esantys skyriai paaiškina kiekvieną žingsnį ir ką daryti, kai jis nepavyksta.

Kaip Gemini gauna informaciją iš svetainių?

Google Gemini Apps Privacy Hub teigia, kad kai kurie Gemini atsakymai pagrįsti paieškos rezultatais. Google robotų dokumentacija pagrindimą apibrėžia kaip turinio iš Google Search indekso pateikimą modeliui užklausos metu, siekiant tikslumo ir aktualumo. Tame pačiame puslapyje rašoma, kad Google-Extended valdo, ar Google surinktas turinys gali būti naudojamas Gemini modelių mokymui ir pagrindimui Gemini Apps bei Grounding with Google Search Vertex AI.

Google-Extended neturi savo user agent eilutės. Google teigia, kad naršoma esamais user agent, o žetonas veikia tik kaip valdymo priemonė robots.txt. Praktiškai tai reiškia dvi sąlygas, kad Gemini galėtų naudoti jūsų puslapį: Google jį turi turėti indekse, o jūsų robots.txt neturi drausti jam Google-Extended.

Google neaprašo, kaip Gemini renkasi, kuriuos indeksuotus puslapius naudoti ar cituoti. Įvykdžius abi sąlygas jūsų puslapis tampa prieinamas, bet negarantuojama, kad Gemini jį pasirinks.

Kaip patikrinti, ar Google indeksavo mano puslapį?

Naudokite URL tikrinimo įrankį Google Search Console. Indeksuotai versijai jis rodo:

Test live URL atsisiunčia puslapį realiuoju laiku, o View tested page parodo ekrano kopiją ir HTML, kurį gavo Google. Jei ekrano kopijoje matyti patikrinimo puslapis arba HTML trūksta pagrindinio teksto, Google, o kartu ir Gemini, jūsų turinio nemato. Request indexing paprašo Google iš naujo naršyti URL; Google teigia, kad tai paprastai trunka apie dieną, ir indeksavimas negarantuojamas.

Ar Google-Extended neleidžia Gemini naudoti mano svetainės?

Atidarykite robots.txt ir ieškokite grupės, kurioje nurodytas Google-Extended. Disallow: / joje nurodo Google nenaudoti jūsų puslapių Gemini mokymui ar pagrindimui Gemini Apps. Google teigia, kad žetonas neturi įtakos įtraukimui į Google Search ir nėra reitingavimo signalas, todėl šį draudimą lengva praleisti: paieškos srautas atrodo įprastas, o Gemini negali pagrįsti atsakymų jūsų puslapiais. Mūsų atskirame straipsnyje apie AI Overviews ir Google-Extended aprašyta, ką žetonas valdo paieškoje, o ko ne.

Kadangi žetonas niekada nepasirodo užklausose, jo negalima patikrinti su curl ar rasti žurnaluose. Vienintelė patikra – perskaityti failą:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Lyginama neatsižvelgiant į raidžių dydį, o jei jokia grupė nenurodo Google-Extended, jam taikoma * grupė. Daugelis svetainių šį draudimą pridėjo, kai pirmą kartą buvo diskutuojama apie DI mokymą. Mūsų tyrime, apėmusiame 1 000 populiariausių domenų, iš 518 svetainių su robots.txt 114 nurodė Google-Extended, o 94 (18,1 %) jam uždraudė pagrindinį puslapį. Įvertinkite, ar tai vis dar atitinka jūsų norus, turint omenyje, kad draudimas apima ir pagrindimą.

Ar ugniasienė gali blokuoti Google, kai naršyklės praeina?

Taip. Jei apsauga nuo robotų ar užklausų dažnio riba atsako Google robotams 403, 429 ar patikrinimo puslapiu, Google negali naršyti puslapio, ir laikui bėgant jis gali iškristi iš paieškos, o kartu ir iš Gemini pagrindimo. Čia geriausias testas yra URL tikrinimas, nes Google atsisiunčia iš savo adresų; curl testas iš jūsų kompiuterio parodo tik tai, kaip jūsų taisyklės elgiasi su user agent.

Norėdami saugiai leisti Google, tikrinkite lankytoją, o ne pasitikėkite pavadinimu. Google aprašo atvirkštinę DNS užklausą ir po jos tiesioginę, o savo įprastų robotų IP intervalus skelbia common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Pavyzdinį adresą pakeiskite adresu iš savo žurnalų. Jei abi užklausos nesutampa, užklausa tik apsimeta Google.

Kaip pamatyti, ar Gemini naudoja ar cituoja mano svetainę?

Užduokite Gemini klausimus, kuriuos užduoda jūsų pirkėjai, neminėdami savo svetainės, ir atidarykite šaltinius. Google pagalbos centras teigia, kad mygtukas Sources rodomas atsakymo apačioje arba tekste ir atidaro susijusių nuorodų skydelį, kuriame gali būti viešų svetainių. Jei mygtuko Sources nėra, Gemini tam atsakymui nuorodų nepateikė; Google pažymi, kad ne visuose atsakymuose jų yra. Užsirašykite, kurie domenai pasirodo, ir tuos pačius klausimus kartokite kelias savaites.

Kūrėjai tą patį testą gali atlikti per Gemini API su Grounding with Google Search. Google teigia, kad tai sujungia modelį su realaus laiko interneto turiniu, o pagrįsti atsakymai turi citatas su kiekvieno šaltinio URL ir pavadinimu, todėl galite patikrinti, ar pasirodo jūsų domenas. API atsakymai gali skirtis nuo to, ką rodo Gemini programėlė.

Kai kurios su Gemini susijusios užklausos jūsų serverį pasiekia. Google išvardija naudotojo inicijuotus atsisiuntėjus, pvz., Google-GeminiNotebook, kuris užklausia URL, naudotojų pridėtų kaip šaltiniai Gemini Notebook projekte, ir Google-Agent, kurį naudoja Google infrastruktūroje veikiantys agentai, vykdantys naudotojo prašymą. Google teigia, kad šie atsisiuntėjai paprastai nepaiso robots.txt, nes atsisiųsti paprašė naudotojas. Jų apsilankymai rodo, kad žmonės per tuos produktus atidaro jūsų puslapius; tai nėra aukščiau aprašytas pagrindimo kelias.

Ar AI Overviews, AI Mode ir fragmentų taisyklės veikia Gemini?

AI Overviews ir AI Mode yra Google Search funkcijos su savo valdymo priemonėmis. Google kaip būdus apriboti, kas rodoma iš jūsų puslapių, nurodo nosnippet, data-nosnippet, max-snippet ir noindex. Jos robots meta žymos dokumentacijoje rašoma, kad nosnippet taip pat neleidžia turinio naudoti kaip tiesioginės įvesties AI Overviews ir AI Mode, o max-snippet riboja, kiek jo galima panaudoti. Search Console taip pat turi visai svetainei taikomą Search generative AI nustatymą, kuriuo svetainę galima išskirti iš AI Overviews, AI Mode ir generatyvinio DI funkcijų Discover.

Nė viename iš šių puslapių neminima Gemini programėlė. Nemanykite, kad fragmentų taisyklė ar Search Console nustatymas keičia Gemini pagrindimą arba kad Google-Extended keičia AI Overviews. Išimtis yra noindex: pagal Google pagrindimo apibrėžimą, puslapio, esančio už Search indekso ribų, tam naudoti negalima. Kad rastumėte pamirštas fragmentų taisykles, patikrinkite HTML ir antraštes:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Kaip tai tikrina AISeeWhy?

Nemokama AISeeWhy patikra atsisiunčia jūsų puslapį kaip Googlebot ir kiti DI bei paieškos robotai kartu su tikra naršykle, kiekvienam pritaiko jūsų robots.txt, įskaitant Google-Extended žetoną, atpažįsta patikrinimo puslapius ir parodo, kiek teksto atkeliauja be JavaScript. DI matomumo patikra bandomajame laikotarpyje ir mokamuose planuose užduoda jūsų klausimus per Gemini API su Google Search pagrindimu, naudodama jūsų pačių raktą, ir parodo, ar jūsų prekės ženklas ar domenas minimas arba cituojamas. AI Overviews ir AI Mode ji neužklausia.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar galiu nemokamai patikrinti, ar Gemini mato mano svetainę?

Taip. Search Console, site: paieška, jūsų robots.txt ir klausimas Gemini nieko nekainuoja. Nemokama AISeeWhy patikra vienam puslapiui per dieną tikrina Googlebot, Google-Extended taisyklę ir 14 kitų robotų.

Ar Gemini turi savo robotą?

Pagrindimui ne. Google teigia, kad Google-Extended neturi user agent eilutės ir kad naršoma esamais robotais. Atskiri naudotojo inicijuoti atsisiuntėjai, pvz., Google-GeminiNotebook ir Google-Agent, lankosi puslapiuose, kai to paprašo naudotojas, ir, pasak Google, paprastai nepaiso robots.txt.

Jei užblokuosiu Google-Extended, ar Gemini vis tiek gali minėti mano prekės ženklą?

Google teigia, kad nenaudos jūsų turinio pagrindimui Gemini Apps. Ši taisyklė taikoma jūsų pačių puslapiams. Apie kitų svetainių, rašančių apie jus, turinį Google nieko nesako, todėl Gemini vis tiek gali minėti jūsų prekės ženklą remdamasis tais šaltiniais.

Per kiek laiko robots.txt pakeitimas pasiekia Gemini?

Gemini atveju Google laiko nenurodo. Jos robots.txt dokumentacijoje rašoma, kad Google failą paprastai laiko talpykloje iki 24 valandų, todėl prieš tikrindami iš naujo palaukite bent dieną, o puslapiams, kuriuos Google naršo retai, – ilgiau.

Ar AI Overviews ir Gemini naudoja tuos pačius šaltinius?

Google neaprašo, kaip jie susiję. Abu remiasi Google indeksu, bet valdymo priemonės skiriasi: AI Overviews ir AI Mode – fragmentų taisyklės ir Search Console nustatymas, Gemini pagrindimui – Google-Extended. Tikrinkite juos atskirai.

Kaip stebėti Gemini atsakymus laikui bėgant?

Turėkite pastovų pirkėjų klausimų sąrašą, reguliariai juos užduokite Gemini ir užsirašykite, kurie domenai pasirodo šaltiniuose. AISeeWhy DI matomumo patikra kas savaitę paleidžia jūsų klausimus per Gemini API su Google Search pagrindimu ir rodo paminėjimus šalia iki keturių konkurentų. API rezultatai gali skirtis nuo Gemini programėlės.

Šaltiniai

Daugiau straipsnių