Vai Gemini redz manu vietni? Kā to pārbaudīt

Publicēts · Atjaunināts

Īsa atbilde

Gemini var izmantot jūsu lapu pamatotā atbildē tikai tad, ja lapa ir Google Search indeksā un jūsu robots.txt neaizliedz marķieri Google-Extended. Google norāda, ka pamatošana Gemini lietotnē modelim sniedz saturu no Google Search indeksa un ka Google-Extended nosaka, vai jūsu saturu šim nolūkam drīkst izmantot. Tāpēc pārbaudiet indeksēšanu Search Console, pārbaudiet robots.txt attiecībā uz Googlebot un Google-Extended, tad uzdodiet Gemini savu pircēju jautājumus un atveriet tā avotus.

Gemini nav savas rāpuļprogrammas, ko varētu meklēt žurnālos, kā tas ir ar citiem asistentiem. Google apstaigā vietnes ar savām esošajām rāpuļprogrammām, un robots.txt marķieris nosaka, ko Gemini drīkst darīt ar saturu. Tāpēc pārbaude ir citāda: lielākā tās daļa notiek Google Search Console un jūsu robots.txt, bet pēdējais solis — pašā Gemini.

Šajā lapā
  1. 5 minūšu pārbaude soli pa solim
  2. Kā Gemini iegūst informāciju no vietnēm?
  3. Kā pārbaudīt, vai Google ir indeksējis manu lapu?
  4. Vai Google-Extended neļauj Gemini izmantot manu vietni?
  5. Vai ugunsmūris var bloķēt Google, kamēr pārlūki tiek cauri?
  6. Kā redzēt, vai Gemini izmanto vai citē manu vietni?
  7. Vai AI Overviews, AI Mode un fragmentu kārtulas ietekmē Gemini?
  8. Kā AISeeWhy to pārbauda?

5 minūšu pārbaude soli pa solim

  1. Meklējiet Google site: kopā ar savas lapas adresi vai izmantojiet URL pārbaudi Search Console, lai pārliecinātos, ka lapa ir Google indeksā.
  2. Atveriet savu robots.txt un pārliecinieties, ka Googlebot drīkst ielādēt lapu un Google-Extended nav aizliegta, ja vien neesat izvēlējušies no tās atteikties.
  3. Palaidiet bezmaksas lapas pārbaudi AISeeWhy vai nosūtiet vienu pieprasījumu ar Googlebot lietotāja aģentu: tam jāsaņem statuss 200 un tas pats teksts, ko pārlūks.
  4. Uzdodiet Gemini jautājumu, uz kuru atbild jūsu lapa, un atveriet avotus, ko tas rāda zem atbildes.

Ja lapa nav indeksēta, Gemini to nevar izmantot atbilžu pamatošanai, tāpēc sāciet ar 1. soli. Tālāk esošās sadaļas izskaidro katru soli un ko darīt, ja tas neizdodas.

Kā Gemini iegūst informāciju no vietnēm?

Google Gemini Apps Privacy Hub norāda, ka dažas Gemini atbildes tiek pamatotas ar Search rezultātiem. Google rāpuļprogrammu dokumentācija pamatošanu (grounding) definē kā satura sniegšanu modelim no Google Search indeksa vaicājuma brīdī, lai uzlabotu faktu precizitāti un atbilstību. Tajā pašā lapā teikts, ka Google-Extended nosaka, vai Google apstaigāto saturu drīkst izmantot Gemini modeļu apmācībai un pamatošanai Gemini Apps un Grounding with Google Search platformā Vertex AI.

Google-Extended nav savas user-agent virknes. Google norāda, ka apstaigāšana notiek ar esošajiem user-agent, un marķieris darbojas tikai robots.txt kā vadība. Praksē tas nozīmē divus nosacījumus, lai Gemini izmantotu jūsu lapu: Google tā jābūt indeksā, un jūsu robots.txt nedrīkst tai aizliegt Google-Extended.

Google nedokumentē, kā Gemini izvēlas, kuras indeksētās lapas izmantot vai citēt. Abu nosacījumu izpilde padara jūsu lapu pieejamu, bet negarantē, ka Gemini to izvēlēsies.

Kā pārbaudīt, vai Google ir indeksējis manu lapu?

Izmantojiet Google Search Console rīku URL Inspection. Indeksētajai versijai tas parāda:

Test live URL ielādē lapu reāllaikā, un View tested page parāda ekrānuzņēmumu un HTML, ko saņēma Google. Ja ekrānuzņēmumā ir pārbaudes lapa vai HTML trūkst galvenā teksta, Google, un līdz ar to arī Gemini, jūsu saturu neredz. Request indexing lūdz Google URL apstaigāt vēlreiz; Google norāda, ka tas parasti aizņem apmēram dienu, bez indeksēšanas garantijas.

Vai Google-Extended neļauj Gemini izmantot manu vietni?

Atveriet savu robots.txt un meklējiet grupu, kas nosauc Google-Extended. Disallow: / tajā liek Google neizmantot jūsu lapas Gemini apmācībai vai pamatošanai Gemini Apps. Google norāda, ka marķieris neietekmē iekļaušanu Google Search un nav ranžēšanas signāls, tāpēc šo bloķējumu viegli nepamanīt: meklēšanas datplūsma izskatās normāla, bet Gemini nevar pamatot atbildes ar jūsu lapām. Mūsu atsevišķajā rakstā par AI Overviews un Google-Extended paskaidrots, ko marķieris Search kontrolē un ko nekontrolē.

Tā kā marķieris pieprasījumos nekad neparādās, to nevar pārbaudīt ar curl vai atrast žurnālos. Vienīgā pārbaude ir faila izlasīšana:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Salīdzināšana nav reģistrjutīga, un, ja neviena grupa nenosauc Google-Extended, uz to attiecas grupa *. Daudzas vietnes šo bloķējumu pievienoja, kad sāka apspriest MI apmācību. Mūsu pētījumā par 1000 populārākajiem domēniem 114 no 518 vietnēm ar robots.txt nosauca Google-Extended un 94 (18,1%) tam aizliedza sākumlapu. Izvērtējiet, vai tas joprojām atbilst jūsu vēlmēm, ņemot vērā, ka tas aptver arī pamatošanu.

Vai ugunsmūris var bloķēt Google, kamēr pārlūki tiek cauri?

Jā. Ja aizsardzība pret robotiem vai pieprasījumu ierobežojums Google rāpuļprogrammām atbild ar 403, 429 vai pārbaudes lapu, Google nevar lapu apstaigāt, un laika gaitā tā var izkrist no Search un līdz ar to no Gemini pamatošanas. Šeit labākais tests ir URL Inspection, jo Google ielādē no savām adresēm; curl tests no jūsu datora parāda tikai to, kā jūsu kārtulas izturas pret user-agent.

Lai droši atļautu Google, verificējiet apmeklētāju, nevis uzticieties nosaukumam. Google dokumentē reverso DNS uzmeklēšanu, kam seko tiešā uzmeklēšana, un publicē savu parasto rāpuļprogrammu IP diapazonus failā common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Aizstājiet piemēra adresi ar adresi no saviem žurnāliem. Ja abas uzmeklēšanas nesakrīt, pieprasījums tikai uzdodas par Google.

Kā redzēt, vai Gemini izmanto vai citē manu vietni?

Uzdodiet Gemini jautājumus, ko uzdod jūsu pircēji, nenosaucot savu vietni, un atveriet avotus. Google palīdzības centrs norāda, ka poga Sources parādās atbildes apakšā vai tekstā un atver paneli ar saistītām saitēm, starp kurām var būt publiskas vietnes. Ja pogas Sources nav, Gemini šai atbildei saites nesniedza, un Google atzīmē, ka ne visās atbildēs tās ir. Pierakstiet, kuri domēni parādās, un atkārtojiet tos pašus jautājumus dažu nedēļu laikā.

Izstrādātāji to pašu testu var veikt caur Gemini API ar Grounding with Google Search. Google norāda, ka tas savieno modeli ar tīmekļa saturu reāllaikā, un pamatotās atbildēs ir citāti ar katra avota URL un nosaukumu, tāpēc varat pārbaudīt, vai parādās jūsu domēns. API atbildes var atšķirties no tā, ko rāda Gemini lietotne.

Daži ar Gemini saistīti ielādes pieprasījumi tomēr sasniedz jūsu serveri. Google uzskaita lietotāja iniciētus ielādētājus, piemēram, Google-GeminiNotebook, kas pieprasa URL, ko lietotāji pievieno kā avotus Gemini Notebook projektam, un Google-Agent, ko izmanto aģenti Google infrastruktūrā, kas rīkojas pēc lietotāja pieprasījuma. Google norāda, ka šie ielādētāji parasti ignorē robots.txt, jo ielādi pieprasīja lietotājs. Šie apmeklējumi parāda, ka cilvēki atver jūsu lapas caur šiem produktiem; tas nav iepriekš aprakstītais pamatošanas ceļš.

Vai AI Overviews, AI Mode un fragmentu kārtulas ietekmē Gemini?

AI Overviews un AI Mode ir Google Search funkcijas ar savām vadīklām. Google min nosnippet, data-nosnippet, max-snippet un noindex kā veidus, kā ierobežot to, kas no jūsu lapām tiek rādīts. Tās robots meta taga dokumentācija norāda, ka nosnippet arī neļauj saturu izmantot kā tiešu ievadi AI Overviews un AI Mode un ka max-snippet ierobežo, cik daudz drīkst izmantot. Search Console ir arī visas vietnes iestatījums Search generative AI, kas var izslēgt vietni no AI Overviews, AI Mode un ģeneratīvā MI funkcijām Discover.

Nevienā no šīm lapām Gemini lietotne nav pieminēta. Nepieņemiet, ka fragmentu kārtula vai Search Console iestatījums maina Gemini pamatošanu vai ka Google-Extended maina AI Overviews. Izņēmums ir noindex: pēc Google pamatošanas definīcijas lapu, kas nav Search indeksā, tai izmantot nevar. Lai atrastu aizmirstas fragmentu kārtulas, pārbaudiet HTML un galvenes:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Kā AISeeWhy to pārbauda?

Bezmaksas AISeeWhy pārbaude ielādē jūsu lapu kā Googlebot un citas MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, piemēro katrai jūsu robots.txt, ieskaitot marķieri Google-Extended, atpazīst pārbaudes lapas un parāda, cik daudz teksta pienāk bez JavaScript. Pārbaude Redzamība MI maksas plānos uzdod jūsu jautājumus caur Gemini API ar Google Search pamatošanu, izmantojot jūsu pašu atslēgu, un parāda, vai jūsu zīmols vai domēns tiek pieminēts vai citēts. Tā neveic vaicājumus AI Overviews vai AI Mode.

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Vai varu bez maksas pārbaudīt, vai Gemini redz manu vietni?

Jā. Search Console, site: meklēšana, jūsu robots.txt un jautājums Gemini neko nemaksā. AISeeWhy bezmaksas pārbaude vienai lapai dienā pārbauda Googlebot, Google-Extended kārtulu un 14 citas rāpuļprogrammas.

Vai Gemini ir sava rāpuļprogramma?

Pamatošanai nav. Google norāda, ka Google-Extended nav user-agent virknes un ka apstaigāšana notiek ar esošajām rāpuļprogrammām. Atsevišķi lietotāja iniciēti ielādētāji, piemēram, Google-GeminiNotebook un Google-Agent, apmeklē lapas, kad to lūdz lietotājs, un Google norāda, ka tie parasti ignorē robots.txt.

Ja bloķēju Google-Extended, vai Gemini joprojām var pieminēt manu zīmolu?

Google norāda, ka neizmantos jūsu saturu pamatošanai Gemini Apps. Šī kārtula attiecas uz jūsu pašu lapām. Google neko nesaka par saturu citās vietnēs, kas raksta par jums, tāpēc Gemini joprojām var nosaukt jūsu zīmolu no šiem avotiem.

Cik ilgā laikā robots.txt izmaiņas sasniedz Gemini?

Google nenorāda laiku attiecībā uz Gemini. Tās robots.txt dokumentācija saka, ka Google failu parasti kešo līdz 24 stundām, tāpēc pirms atkārtota testa pagaidiet vismaz dienu, bet lapām, ko Google apstaigā reti, — ilgāk.

Vai AI Overviews un Gemini izmanto tos pašus avotus?

Google nedokumentē, kā tie ir saistīti. Abi izmanto Google indeksu, bet tiem ir dažādas vadīklas: fragmentu kārtulas un Search Console iestatījums attiecībā uz AI Overviews un AI Mode, un Google-Extended attiecībā uz Gemini pamatošanu. Pārbaudiet tos atsevišķi.

Kā sekot Gemini atbildēm laika gaitā?

Sagatavojiet nemainīgu pircēju jautājumu sarakstu, uzdodiet tos Gemini pēc grafika un pierakstiet, kuri domēni parādās avotos. AISeeWhy pārbaude Redzamība MI katru nedēļu uzdod jūsu jautājumus caur Gemini API ar Google Search pamatošanu un parāda pieminējumus blakus līdz četriem konkurentiem. API rezultāti var atšķirties no Gemini lietotnes.

Avoti

Citi raksti