Nakikita ba ng Gemini ang website ko? Paano ito suriin

Inilathala · In-update

Maikling sagot

Magagamit lang ng Gemini ang pahina mo sa isang grounded na sagot kung nasa Search index ng Google ang pahina at hindi dini-disallow ng robots.txt mo ang token na Google-Extended. Sabi ng Google, ang grounding sa Gemini app ay nagbibigay sa model ng content mula sa Google Search index, at ang Google-Extended ang nagpapasya kung puwedeng gamitin ang content mo para dito. Kaya suriin ang indexing sa Search Console, suriin ang robots.txt para sa Googlebot at Google-Extended, saka itanong sa Gemini ang mga tanong ng mga buyer mo at buksan ang mga source nito.

Walang crawler ang Gemini na mababantayan mo sa mga log mo gaya ng sa ibang assistant. Nagku-crawl ang Google gamit ang mga dati na nitong crawler, at isang robots.txt token ang nagpapasya kung ano ang puwedeng gawin ng Gemini sa content. Kaya iba ang pagsusuri: karamihan nito ay nangyayari sa Google Search Console at sa robots.txt mo, at ang huling hakbang ay sa Gemini mismo.

Sa pahinang ito
  1. Ang 5-minutong check, hakbang-hakbang
  2. Paano kumukuha ng impormasyon ang Gemini mula sa mga website?
  3. Paano ko susuriin kung na-index ng Google ang pahina ko?
  4. Pinipigilan ba ng Google-Extended ang Gemini na gamitin ang site ko?
  5. Puwede bang i-block ng firewall ang Google habang nakakalusot ang mga browser?
  6. Paano ko makikita kung ginagamit o sinisipi ng Gemini ang site ko?
  7. Naaapektuhan ba ng AI Overviews, AI Mode at mga snippet rule ang Gemini?
  8. Paano ito sinusuri ng AISeeWhy?

Ang 5-minutong check, hakbang-hakbang

  1. Hanapin sa Google ang site: kasama ang address ng pahina mo, o gamitin ang URL Inspection sa Search Console, para kumpirmahing nasa index ng Google ang pahina.
  2. Buksan ang robots.txt mo at tiyaking maaaring kunin ng Googlebot ang pahina at hindi naka-disallow ang Google-Extended, maliban kung pinili mong mag-opt out.
  3. Magpatakbo ng libreng pagsusuri ng pahina sa AISeeWhy o magpadala ng isang request gamit ang user agent na Googlebot: dapat itong makakuha ng status 200 at ng parehong text gaya ng browser.
  4. Itanong sa Gemini ang isang tanong na sinasagot ng pahina mo at buksan ang mga pinagmulang ipinapakita nito sa ilalim ng sagot.

Kung hindi naka-index ang pahina, hindi ito magagamit ng grounding ng Gemini, kaya magsimula sa hakbang 1. Ipinapaliwanag ng mga seksyon sa ibaba ang bawat hakbang at ang gagawin kapag pumalya ito.

Paano kumukuha ng impormasyon ang Gemini mula sa mga website?

Sabi ng Gemini Apps Privacy Hub ng Google, naka-ground sa mga Search result ang ilang sagot ng Gemini. Inilalarawan ng crawler documentation ng Google ang grounding bilang pagbibigay sa model ng content mula sa Google Search index sa oras ng prompt, para gawing mas tama at mas relevant ang sagot. Sinasabi rin ng parehong pahina na kinokontrol ng Google-Extended kung puwedeng gamitin ang content na kinu-crawl ng Google sa pag-train ng mga Gemini model at sa grounding sa Gemini Apps at sa Grounding with Google Search sa Vertex AI.

Walang sariling user agent string ang Google-Extended. Sabi ng Google, ginagawa ang pag-crawl gamit ang mga dati nitong user agent, at gumagana lang ang token bilang control sa robots.txt. Sa praktika, dalawang kondisyon ito para magamit ng Gemini ang pahina mo: dapat nasa index ito ng Google, at hindi ito dapat i-disallow ng robots.txt mo para sa Google-Extended.

Hindi dinodokumento ng Google kung paano pinipili ng Gemini kung aling naka-index na pahina ang gagamitin o sisipiin. Kapag natugunan ang dalawang kondisyon, available ang pahina mo; hindi nito ginagarantiya na pipiliin ito ng Gemini.

Paano ko susuriin kung na-index ng Google ang pahina ko?

Gamitin ang URL Inspection tool sa Google Search Console. Para sa naka-index na bersyon, ipinapakita nito:

Kinukuha ng Test live URL ang pahina nang real time, at ipinapakita ng View tested page ang screenshot at ang HTML na natanggap ng Google. Kung challenge page ang screenshot o kulang ang HTML ng pangunahing text mo, hindi nakikita ng Google, at kasama nito ng Gemini, ang content mo. Hinihiling ng Request indexing sa Google na i-crawl ulit ang URL; sabi ng Google, karaniwang mga isang araw ito, at walang garantiya ng pag-index.

Pinipigilan ba ng Google-Extended ang Gemini na gamitin ang site ko?

Buksan ang robots.txt mo at hanapin ang grupong nagbabanggit sa Google-Extended. Ang Disallow: / doon ay nagsasabi sa Google na huwag gamitin ang mga pahina mo sa training ng Gemini o sa grounding sa Gemini Apps. Sabi ng Google, hindi naaapektuhan ng token ang pagsasama sa Google Search at hindi ito ranking signal, kaya madaling makaligtaan ang block na ito: mukhang normal ang search traffic mo habang hindi magamit ng Gemini ang mga pahina mo para i-ground ang mga sagot. Ipinapaliwanag ng hiwalay naming artikulo tungkol sa AI Overviews at Google-Extended kung ano ang kinokontrol at hindi kinokontrol ng token sa Search.

Dahil hindi kailanman lumalabas ang token sa mga request, hindi mo ito masusubukan gamit ang curl o mahahanap sa mga log. Ang pagbasa sa file ang tanging paraan ng pagsusuri:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Hindi case-sensitive ang pagtutugma, at kung walang grupong nagbabanggit sa Google-Extended, ang grupong * ang naaangkop dito. Maraming site ang nagdagdag ng block na ito noong unang pinag-usapan ang AI training. Sa pag-aaral namin sa 1,000 pinakasikat na domain, sa 518 site na may robots.txt, 114 ang nagbanggit sa Google-Extended at 94 (18.1%) ang nag-disallow ng home page nila para dito. Pag-isipan kung iyon pa rin ang gusto mo, dahil saklaw din nito ang grounding.

Puwede bang i-block ng firewall ang Google habang nakakalusot ang mga browser?

Oo. Kung sinasagot ng bot protection o rate limit ang mga crawler ng Google ng 403, 429 o challenge page, hindi makaka-crawl ang Google sa pahina, at sa paglipas ng panahon puwede itong mawala sa Search at, kasama nito, sa grounding ng Gemini. Ang URL Inspection ang pinakamainam na test dito, dahil kumukuha ang Google mula sa sarili nitong mga address; ang curl test mula sa computer mo ay nagpapakita lang kung paano tinatrato ng mga rule mo ang user agent.

Para ligtas na payagan ang Google, i-verify ang bisita sa halip na magtiwala sa pangalan. Dinodokumento ng Google ang reverse DNS lookup na sinusundan ng forward lookup, at inilalathala nito ang mga IP range ng mga karaniwang crawler nito sa common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Palitan ang halimbawang address ng isa mula sa mga log mo. Kung hindi magtugma ang dalawang lookup, nagpapanggap lang na Google ang request.

Paano ko makikita kung ginagamit o sinisipi ng Gemini ang site ko?

Itanong sa Gemini ang mga tanong ng mga buyer mo nang hindi binabanggit ang site mo, at buksan ang mga source. Sabi ng help center ng Google, lumalabas ang button na Sources sa ibaba ng sagot o sa loob ng text, at nagbubukas ito ng panel ng mga kaugnay na link na puwedeng may mga pampublikong website. Kung walang button na Sources, hindi nagbigay ng mga link ang Gemini para sa sagot na iyon, at paalala ng Google na hindi lahat ng sagot ay may mga link. Itala kung aling mga domain ang lumalabas at ulitin ang parehong mga tanong sa loob ng ilang linggo.

Kayang gawin ng mga developer ang parehong test sa pamamagitan ng Gemini API gamit ang Grounding with Google Search. Sabi ng Google, ikinokonekta nito ang model sa real-time na content sa web, at may mga citation ang mga grounded na sagot na may URL at title ng bawat source, kaya masusuri mo kung lumalabas ang domain mo. Puwedeng iba ang mga sagot ng API sa ipinapakita ng Gemini app.

May ilang fetch na kaugnay ng Gemini na umaabot sa server mo. Inililista ng Google ang mga user-triggered fetcher gaya ng Google-GeminiNotebook, na humihiling ng mga URL na idinadagdag ng mga user bilang source sa isang Gemini Notebook project, at ng Google-Agent, na ginagamit ng mga agent sa infrastructure ng Google na kumikilos ayon sa request ng user. Sabi ng Google, karaniwang hindi pinapansin ng mga fetcher na ito ang robots.txt dahil user ang humiling ng fetch. Ipinapakita ng mga pagbisita nila na binubuksan ng mga tao ang mga pahina mo sa pamamagitan ng mga produktong iyon; hindi sila ang grounding path na inilarawan sa itaas.

Naaapektuhan ba ng AI Overviews, AI Mode at mga snippet rule ang Gemini?

Mga feature ng Google Search ang AI Overviews at AI Mode na may sarili nilang mga control. Inililista ng Google ang nosnippet, data-nosnippet, max-snippet at noindex bilang mga paraan para limitahan ang ipinapakita mula sa mga pahina mo. Sabi ng documentation nito sa robots meta tag, pinipigilan din ng nosnippet na magamit ang content bilang direktang input para sa AI Overviews at AI Mode, at nililimitahan ng max-snippet kung gaano karami ang puwedeng gamitin. May site-wide na setting din ang Search Console, ang Search generative AI, na kayang ihiwalay ang isang site mula sa AI Overviews, AI Mode at mga generative AI feature sa Discover.

Wala sa mga pahinang ito ang bumabanggit sa Gemini app. Huwag ipagpalagay na binabago ng isang snippet rule o ng setting sa Search Console ang grounding ng Gemini, o na binabago ng Google-Extended ang AI Overviews. Ang noindex ang eksepsiyon: ayon sa depinisyon ng Google sa grounding, hindi ito magagamit sa pahinang wala sa Search index. Para mahanap ang mga snippet rule na baka nakalimutan mo, suriin ang HTML at ang mga header:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Paano ito sinusuri ng AISeeWhy?

Kinukuha ng libreng pagsusuri ng AISeeWhy ang pahina mo bilang Googlebot at iba pang AI at search crawler katabi ng totoong browser, inilalapat ang robots.txt mo sa bawat isa, kasama ang token na Google-Extended, nakikilala ang mga challenge page at ipinapakita kung gaano karaming text ang dumarating nang walang JavaScript. Ang AI visibility check, sa trial at sa mga bayad na plan, ay nagtatanong ng mga tanong mo sa pamamagitan ng Gemini API na may Google Search grounding gamit ang sarili mong key at ipinapakita kung nababanggit o nasisipi ang brand o domain mo. Hindi nito kinu-query ang AI Overviews o AI Mode.

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Maaari ko bang suriin nang libre kung nakikita ng Gemini ang site ko?

Oo. Walang bayad ang Search Console, ang paghahanap gamit ang site:, ang robots.txt mo at ang isang tanong sa Gemini. Sinusubok ng libreng pagsusuri ng AISeeWhy ang Googlebot, ang rule ng Google-Extended at 14 pang crawler para sa isang pahina bawat araw.

May sariling crawler ba ang Gemini?

Hindi para sa grounding. Sabi ng Google, walang user agent string ang Google-Extended at ginagawa ang pag-crawl gamit ang mga dati nitong crawler. Ang mga hiwalay na user-triggered fetcher gaya ng Google-GeminiNotebook at Google-Agent ay bumibisita sa mga pahina kapag may user na humiling, at sabi ng Google, karaniwang hindi nila pinapansin ang robots.txt.

Kung iba-block ko ang Google-Extended, puwede pa bang banggitin ng Gemini ang brand ko?

Sabi ng Google, hindi nito gagamitin ang content mo para sa grounding sa Gemini Apps. Saklaw ng rule na iyon ang sarili mong mga pahina. Walang sinasabi ang Google tungkol sa content sa ibang site na sumusulat tungkol sa iyo, kaya puwede pa ring pangalanan ng Gemini ang brand mo mula sa mga source na iyon.

Gaano katagal bago umabot sa Gemini ang pagbabago sa robots.txt?

Walang ibinibigay na oras ang Google para sa Gemini. Sabi ng robots.txt documentation nito, karaniwang kina-cache ng Google ang file nang hanggang 24 oras, kaya maghintay nang kahit isang araw bago sumubok ulit, at mas matagal para sa mga pahinang bihirang i-crawl ulit ng Google.

Pareho ba ang mga source na ginagamit ng AI Overviews at Gemini?

Hindi dinodokumento ng Google kung paano magkaugnay ang dalawa. Parehong kumukuha sa index ng Google, pero magkaiba ang mga control nila: mga snippet rule at ang setting sa Search Console para sa AI Overviews at AI Mode, at Google-Extended para sa grounding ng Gemini. Suriin ang mga ito nang hiwalay.

Paano ko susubaybayan ang mga sagot ng Gemini sa paglipas ng panahon?

Magtabi ng nakapirming listahan ng mga tanong ng buyer, itanong ang mga ito sa Gemini nang regular, at itala kung aling mga domain ang lumalabas sa mga source. Pinapatakbo ng AI visibility check ng AISeeWhy ang mga tanong mo linggu-linggo sa pamamagitan ng Gemini API na may Google Search grounding at ipinapakita ang mga mention katabi ng hanggang apat na kakumpitensya. Puwedeng iba ang mga resulta ng API sa Gemini app.

Mga pinagmulan

Iba pang artikulo