Vidi li Gemini moju web-stranicu? Kako to provjeriti

Objavljeno · Ažurirano

Kratki odgovor

Gemini može koristiti vašu stranicu u utemeljenom odgovoru samo ako je stranica u Googleovu indeksu pretraživanja i ako vaš robots.txt ne zabranjuje token Google-Extended. Google navodi da utemeljenje (grounding) u aplikaciji Gemini modelu daje sadržaj iz indeksa Google pretraživanja, a da Google-Extended određuje smije li se vaš sadržaj za to koristiti. Zato provjerite indeksiranje u Search Consoleu, provjerite robots.txt za Googlebot i Google-Extended, a zatim Geminiju postavite pitanja svojih kupaca i otvorite njegove izvore.

Gemini nema crawler koji biste mogli pratiti u zapisnicima kao kod drugih asistenata. Google pretražuje web svojim postojećim crawlerima, a token u robots.txt određuje što Gemini smije raditi sa sadržajem. Zato je provjera drugačija: većina se odvija u Google Search Consoleu i u vašem robots.txt, a posljednji korak u samom Geminiju.

Na ovoj stranici
  1. Provjera od 5 minuta, korak po korak
  2. Kako Gemini dobiva informacije s web-stranica?
  3. Kako provjeriti je li Google indeksirao moju stranicu?
  4. Sprječava li Google-Extended Gemini da koristi moju web-stranicu?
  5. Može li vatrozid blokirati Google dok preglednici prolaze?
  6. Kako vidjeti koristi li Gemini moju web-stranicu ili je citira?
  7. Utječu li AI Overviews, AI Mode i pravila za isječke na Gemini?
  8. Kako to provjerava AISeeWhy?

Provjera od 5 minuta, korak po korak

  1. Pretražite Google za site: i adresu svoje stranice ili upotrijebite Provjeru URL-a u Search Consoleu kako biste potvrdili da je stranica u Googleovu indeksu.
  2. Otvorite svoj robots.txt i provjerite smije li Googlebot dohvatiti stranicu i da Google-Extended nije zabranjen, osim ako ste se odlučili isključiti.
  3. Pokrenite besplatnu provjeru stranice na AISeeWhy ili pošaljite jedan zahtjev s user agentom Googlebot: mora dobiti status 200 i isti tekst kao preglednik.
  4. Postavite Geminiju pitanje na koje vaša stranica odgovara i otvorite izvore koje prikazuje ispod odgovora.

Ako stranica nije indeksirana, Gemini je ne može koristiti kao izvor, pa počnite s 1. korakom. Odjeljci u nastavku objašnjavaju svaki korak i što učiniti kad ne prođe.

Kako Gemini dobiva informacije s web-stranica?

Googleov Gemini Apps Privacy Hub navodi da su neki Geminijevi odgovori utemeljeni na rezultatima pretraživanja. Googleova dokumentacija o crawlerima utemeljenje definira kao davanje sadržaja iz indeksa Google pretraživanja modelu u trenutku upita, radi bolje točnosti i relevantnosti. Ista stranica navodi da Google-Extended određuje smije li se sadržaj koji Google pretražuje koristiti za treniranje modela Gemini i za utemeljenje u aplikacijama Gemini te u značajci Grounding with Google Search na Vertex AI.

Google-Extended nema vlastiti niz user agenta. Google navodi da se pretraživanje obavlja njegovim postojećim user agentima, a token djeluje samo u robots.txt kao kontrola. U praksi to daje dva uvjeta da bi Gemini koristio vašu stranicu: Google je mora imati u indeksu, a vaš robots.txt za nju ne smije zabranjivati Google-Extended.

Google ne dokumentira kako Gemini bira koje će indeksirane stranice koristiti ili citirati. Ispunjavanje oba uvjeta čini vašu stranicu dostupnom; ne jamči da će je Gemini odabrati.

Kako provjeriti je li Google indeksirao moju stranicu?

Upotrijebite alat URL Inspection u Google Search Consoleu. Za indeksiranu verziju prikazuje:

Test live URL dohvaća stranicu u stvarnom vremenu, a View tested page prikazuje snimku zaslona i HTML koji je Google primio. Ako je na snimci stranica s provjerom ili HTML-u nedostaje glavni tekst, Google, a s njim i Gemini, ne vidi vaš sadržaj. Request indexing traži od Googlea da ponovno pretraži URL; Google navodi da to obično traje oko jedan dan, bez jamstva indeksiranja.

Sprječava li Google-Extended Gemini da koristi moju web-stranicu?

Otvorite robots.txt i potražite grupu koja navodi Google-Extended. Disallow: / u njoj govori Googleu da vaše stranice ne koristi za treniranje Geminija ni za utemeljenje u aplikacijama Gemini. Google navodi da token ne utječe na uključivanje u Google pretraživanje i da nije signal za rangiranje, pa je ovu blokadu lako previdjeti: promet iz pretraživanja izgleda normalno, dok Gemini odgovore ne može utemeljiti na vašim stranicama. Naš zasebni članak o AI Overviews i Google-Extended objašnjava što token u pretraživanju kontrolira, a što ne.

Budući da se token nikad ne pojavljuje u zahtjevima, ne možete ga testirati naredbom curl niti ga pronaći u zapisnicima. Čitanje datoteke jedina je provjera:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Usporedba ne razlikuje velika i mala slova, a ako nijedna grupa ne navodi Google-Extended, na njega se primjenjuje grupa *. Mnoge su web-stranice dodale ovu blokadu kad se o AI treniranju tek počelo raspravljati. U našem istraživanju 1.000 najpopularnijih domena, od 518 web-stranica s robots.txt njih 114 navelo je Google-Extended, a 94 (18,1 %) zabranilo mu je početnu stranicu. Odlučite odgovara li to još uvijek onome što želite, s obzirom na to da obuhvaća i utemeljenje.

Može li vatrozid blokirati Google dok preglednici prolaze?

Može. Ako zaštita od botova ili ograničenje broja zahtjeva Googleovim crawlerima odgovara kodom 403, 429 ili stranicom s provjerom, Google ne može pretražiti stranicu, a s vremenom ona može ispasti iz pretraživanja, a s njim i iz Geminijeva utemeljenja. URL Inspection ovdje je najbolji test jer Google dohvaća sa svojih adresa; test naredbom curl s vašeg računala pokazuje samo kako vaša pravila postupaju s user agentom.

Da biste sigurno dopustili Google, provjerite posjetitelja umjesto da vjerujete imenu. Google dokumentira obrnuti DNS upit nakon kojeg slijedi izravni upit i objavljuje IP raspone svojih uobičajenih crawlera u common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Zamijenite primjer adrese adresom iz svojih zapisnika. Ako se dva upita ne podudaraju, zahtjev se samo predstavlja kao Google.

Kako vidjeti koristi li Gemini moju web-stranicu ili je citira?

Postavite Geminiju pitanja koja postavljaju vaši kupci, bez navođenja svoje web-stranice, i otvorite izvore. Googleov centar za pomoć navodi da se gumb Sources pojavljuje na dnu odgovora ili unutar teksta i otvara ploču s povezanim poveznicama, među kojima mogu biti javne web-stranice. Ako gumba Sources nema, Gemini za taj odgovor nije dao poveznice, a Google napominje da ih ne sadrže svi odgovori. Zabilježite koje se domene pojavljuju i ista pitanja ponavljajte nekoliko tjedana.

Programeri isti test mogu pokrenuti putem Gemini API-ja sa značajkom Grounding with Google Search. Google navodi da ona povezuje model sa sadržajem weba u stvarnom vremenu, a utemeljeni odgovori nose citate s URL-om i naslovom svakog izvora, pa možete provjeriti pojavljuje li se vaša domena. Odgovori putem API-ja mogu se razlikovati od onoga što prikazuje aplikacija Gemini.

Neka dohvaćanja povezana s Geminijem ipak stižu do vašeg poslužitelja. Google navodi dohvatitelje koje pokreću korisnici, poput Google-GeminiNotebook, koji dohvaća URL-ove koje korisnici dodaju kao izvore u projekt Gemini Notebook, i Google-Agent, koji koriste agenti na Googleovoj infrastrukturi kad djeluju na zahtjev korisnika. Google navodi da ti dohvatitelji općenito zanemaruju robots.txt jer je dohvaćanje zatražio korisnik. Njihovi posjeti pokazuju da ljudi otvaraju vaše stranice putem tih proizvoda; to nije put utemeljenja opisan gore.

Utječu li AI Overviews, AI Mode i pravila za isječke na Gemini?

AI Overviews i AI Mode značajke su Google pretraživanja s vlastitim kontrolama. Google navodi nosnippet, data-nosnippet, max-snippet i noindex kao načine za ograničavanje onoga što se prikazuje s vaših stranica. Njegova dokumentacija o meta oznaci robots navodi da nosnippet sprječava i korištenje sadržaja kao izravnog unosa za AI Overviews i AI Mode, a da max-snippet ograničava koliko se smije koristiti. Search Console ima i postavku Search generative AI na razini web-stranice koja web-stranicu može isključiti iz AI Overviews, AI Mode i značajki generativnog AI-ja u Discoveru.

Nijedna od tih stranica ne spominje aplikaciju Gemini. Ne pretpostavljajte da pravilo za isječke ili postavka u Search Consoleu mijenja Geminijevo utemeljenje, ni da Google-Extended mijenja AI Overviews. Iznimka je noindex: prema Googleovoj definiciji utemeljenja, stranica izvan indeksa pretraživanja ne može se za njega koristiti. Da biste pronašli pravila za isječke koja ste možda zaboravili, provjerite HTML i zaglavlja:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Kako to provjerava AISeeWhy?

Besplatna provjera AISeeWhy dohvaća vašu stranicu kao Googlebot i drugi AI crawleri i crawleri tražilica, usporedno sa stvarnim preglednikom, na svaki primjenjuje vaš robots.txt, uključujući token Google-Extended, prepoznaje stranice s provjerom i pokazuje koliko teksta stiže bez JavaScripta. Provjera AI vidljivosti, u plaćenim planovima, postavlja vaša pitanja putem Gemini API-ja s utemeljenjem u Google pretraživanju i vašim vlastitim ključem te pokazuje spominje li se ili citira vaš brend ili domena. Ne šalje upite AI Overviews ni AI Mode.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Mogu li besplatno provjeriti vidi li Gemini moju web-stranicu?

Da. Search Console, pretraživanje site:, vaš robots.txt i pitanje u Geminiju ne koštaju ništa. Besplatna provjera AISeeWhy testira Googlebot, pravilo Google-Extended i 14 drugih crawlera za jednu stranicu dnevno.

Ima li Gemini vlastiti crawler?

Ne za utemeljenje. Google navodi da Google-Extended nema niz user agenta i da se pretraživanje obavlja njegovim postojećim crawlerima. Zasebni dohvatitelji koje pokreću korisnici, poput Google-GeminiNotebook i Google-Agent, posjećuju stranice kad to korisnik zatraži, a Google navodi da općenito zanemaruju robots.txt.

Ako blokiram Google-Extended, može li Gemini i dalje spominjati moj brend?

Google navodi da vaš sadržaj neće koristiti za utemeljenje u aplikacijama Gemini. To pravilo obuhvaća vaše vlastite stranice. Google ne kaže ništa o sadržaju na drugim web-stranicama koje pišu o vama, pa Gemini i dalje može navesti vaš brend na temelju tih izvora.

Koliko treba da promjena u robots.txt stigne do Geminija?

Google ne navodi vrijeme za Gemini. Njegova dokumentacija o robots.txt kaže da Google datoteku obično predmemorira do 24 sata, pa pričekajte barem dan prije ponovnog testiranja, a dulje za stranice koje Google rijetko ponovno pretražuje.

Koriste li AI Overviews i Gemini iste izvore?

Google ne dokumentira kako su povezani. Oba se oslanjaju na Googleov indeks, ali imaju različite kontrole: pravila za isječke i postavku u Search Consoleu za AI Overviews i AI Mode te Google-Extended za Geminijevo utemeljenje. Provjerite ih zasebno.

Kako pratiti Geminijeve odgovore kroz vrijeme?

Vodite stalan popis pitanja kupaca, postavljajte ih Geminiju prema rasporedu i bilježite koje se domene pojavljuju u izvorima. Provjera AI vidljivosti u AISeeWhyju svaki tjedan pokreće vaša pitanja putem Gemini API-ja s utemeljenjem u Google pretraživanju i prikazuje spominjanja uz najviše četiri konkurenta. Rezultati putem API-ja mogu se razlikovati od aplikacije Gemini.

Izvori

Još članaka