Gemini 看得到我的網站嗎?檢查方法

發布於 · 更新於

簡短回答

只有當頁面在 Google 搜尋索引中,且你的 robots.txt 沒有禁止 Google-Extended 識別名稱時,Gemini 才能在以搜尋為依據(grounding)的答案中使用你的頁面。Google 表示,Gemini App 中的 grounding 會把 Google 搜尋索引中的內容提供給模型,而 Google-Extended 控制你的內容能否用於這個用途。因此請在 Search Console 檢查索引狀態,檢查 robots.txt 中針對 Googlebot 與 Google-Extended 的規則,再向 Gemini 提出買家會問的問題並開啟它的來源。

Gemini 沒有一個能像其他助理那樣在日誌中追蹤的專屬爬蟲。Google 使用現有的爬蟲檢索,再由 robots.txt 中的一個識別名稱決定 Gemini 可以如何使用這些內容。所以檢查方式也不同:大部分在 Google Search Console 和你的 robots.txt 中完成,最後一步則在 Gemini 裡進行。

本頁內容
  1. 5 分鐘檢查,逐步說明
  2. Gemini 如何從網站取得資訊?
  3. 如何檢查 Google 是否已將我的頁面編入索引?
  4. Google-Extended 是否正在阻止 Gemini 使用我的網站?
  5. 防火牆會不會擋住 Google,卻放行瀏覽器?
  6. 如何知道 Gemini 是否使用或引用了我的網站?
  7. AI Overviews、AI Mode 與摘要規則會影響 Gemini 嗎?
  8. AISeeWhy 如何檢查這些項目?

5 分鐘檢查,逐步說明

  1. 在 Google 搜尋 site: 加上你的頁面網址,或使用 Search Console 的網址檢查工具,確認該頁面已在 Google 的索引中。
  2. 開啟你的 robots.txt,確認 Googlebot 可以擷取該頁面,且 Google-Extended 沒有被禁止,除非你選擇了退出。
  3. 在 AISeeWhy 上免費檢查該頁面,或以 Googlebot 的 user agent 送出一個請求:它必須得到狀態碼 200 以及和瀏覽器相同的文字。
  4. 向 Gemini 提出一個你的頁面能回答的問題,並開啟回答下方顯示的來源。

如果頁面沒有被編入索引,Gemini 的事實依據功能就無法使用它,所以請從第 1 步開始。下面的段落會說明每個步驟,以及沒有通過時該怎麼做。

Gemini 如何從網站取得資訊?

Google 的 Gemini 應用程式隱私權中心(Gemini Apps Privacy Hub)表示,Gemini 的部分回答會以搜尋結果為依據(grounding)。Google 的爬蟲文件將 grounding 定義為在提示時把 Google 搜尋索引中的內容提供給模型,以提升正確性與關聯性。同一頁面指出,Google-Extended 控制 Google 檢索的內容能否用於訓練 Gemini 模型,以及能否用於 Gemini 應用程式中的 grounding 和 Vertex AI 上的 Grounding with Google Search。

Google-Extended 沒有自己的 user agent 字串。Google 表示檢索是由其現有的 user agent 進行,這個識別名稱只在 robots.txt 中作為控制項。實際上,Gemini 要使用你的頁面必須符合兩個條件:Google 已將頁面編入索引,而且你的 robots.txt 沒有對該頁面禁止 Google-Extended。

Google 並未說明 Gemini 如何選擇要使用或引用哪些已編入索引的頁面。符合這兩個條件能讓你的頁面可供使用,但不保證 Gemini 會選中它。

如何檢查 Google 是否已將我的頁面編入索引?

使用 Google Search Console 中的網址審查工具(URL Inspection)。針對已編入索引的版本,它會顯示:

「測試線上網址」會即時擷取頁面,「查看已測試的網頁」則顯示螢幕截圖與 Google 收到的 HTML。如果截圖是驗證挑戰頁,或 HTML 缺少主要文字,Google 以及隨之而來的 Gemini 都看不到你的內容。「要求建立索引」會請 Google 重新檢索該網址;Google 表示通常需要約一天,且不保證一定會編入索引。

Google-Extended 是否正在阻止 Gemini 使用我的網站?

開啟你的 robots.txt,找找看有沒有點名 Google-Extended 的群組。其中的 Disallow: / 會告訴 Google 不要把你的頁面用於 Gemini 訓練,也不要用於 Gemini 應用程式中的 grounding。Google 表示這個識別名稱不影響頁面能否出現在 Google 搜尋中,也不是排名信號,所以這種封鎖很容易被忽略:你的搜尋流量看起來一切正常,Gemini 卻無法以你的頁面為依據產生答案。我們另有一篇關於 AI Overviews 與 Google-Extended 的文章,說明這個識別名稱在搜尋中能控制什麼、不能控制什麼。

由於這個識別名稱從不出現在請求中,你無法用 curl 測試它,也無法在日誌中找到它。閱讀檔案是唯一的檢查方式:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

比對不分大小寫;如果沒有群組點名 Google-Extended,就由 * 群組套用到它。許多網站在 AI 訓練剛開始受到討論時就加上了這項封鎖。在我們針對最熱門的 1,000 個網域所做的研究中,有 robots.txt 的 518 個網站裡,114 個點名了 Google-Extended,其中 94 個(18.1%)對它禁止了首頁。既然它也涵蓋 grounding,請判斷這是否仍符合你的需求。

防火牆會不會擋住 Google,卻放行瀏覽器?

會。如果機器人防護或速率限制以 403、429 或驗證挑戰頁回應 Google 的爬蟲,Google 就無法檢索該頁面,時間一久,頁面可能從搜尋中消失,也就隨之從 Gemini 的 grounding 中消失。網址審查是這裡最好的測試,因為 Google 是從自己的位址擷取頁面;從你的電腦用 curl 測試,只能看出你的規則如何對待該 user agent。

想安全地放行 Google,請驗證訪客,而不是相信名稱。Google 的文件說明了先做反向 DNS 查詢、再做正向查詢的方法,並在 common-crawlers.json 中公布了常見爬蟲的 IP 範圍:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

把範例位址換成你日誌中的位址。如果兩次查詢的結果不一致,這個請求只是自稱來自 Google。

如何知道 Gemini 是否使用或引用了我的網站?

向 Gemini 提出買家會問的問題,不要提到你的網站名稱,然後開啟來源。Google 說明中心表示,「來源」按鈕會出現在回答底部或內文中,點選後會開啟相關連結面板,其中可能包含公開網站。如果沒有「來源」按鈕,代表 Gemini 沒有為該回答提供連結,Google 也指出並非所有回答都會附上連結。記下出現了哪些網域,並在幾週內重複提出相同的問題。

開發人員可以透過啟用 Grounding with Google Search 的 Gemini API 進行同樣的測試。Google 表示它會把模型連結到即時的網路內容,而以搜尋為依據的答案會附上每個來源的網址與標題作為引用,因此你可以檢查自己的網域是否出現。API 的答案可能與 Gemini App 顯示的不同。

有些與 Gemini 相關的擷取確實會到達你的伺服器。Google 列出了由使用者觸發的擷取程式,例如 Google-GeminiNotebook,它會請求使用者以來源身分加入 Gemini Notebook 專案的網址;還有 Google-Agent,由在 Google 基礎架構上代表使用者執行請求的代理程式使用。Google 表示,由於擷取是使用者要求的,這些擷取程式通常會忽略 robots.txt。它們的造訪代表有人透過這些產品開啟了你的頁面;它們不是上文所述的 grounding 途徑。

AI Overviews、AI Mode 與摘要規則會影響 Gemini 嗎?

AI Overviews 和 AI Mode 是 Google 搜尋的功能,有各自的控制方式。Google 列出 nosnippet、data-nosnippet、max-snippet 與 noindex,作為限制你的頁面顯示內容的方法。其 robots 中繼標記文件表示,nosnippet 也會防止內容被直接用作 AI Overviews 和 AI Mode 的輸入,而 max-snippet 會限制可使用的內容量。Search Console 另有一項全站的搜尋生成式 AI 設定,可以讓網站排除在 AI Overviews、AI Mode 以及 Discover 中的生成式 AI 功能之外。

這些頁面都沒有提到 Gemini App。不要假設摘要規則或 Search Console 設定會改變 Gemini 的 grounding,也不要假設 Google-Extended 會改變 AI Overviews。noindex 是例外:依照 Google 對 grounding 的定義,不在搜尋索引中的頁面無法用於 grounding。想找出你可能已經忘記的摘要規則,請檢查 HTML 與回應標頭:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy 如何檢查這些項目?

AISeeWhy 免費檢查會以 Googlebot 以及其他 AI 與搜尋爬蟲的身分擷取你的頁面,並與真實瀏覽器對照,對每個爬蟲套用你的 robots.txt(包括 Google-Extended 識別名稱),辨識驗證挑戰頁,並顯示在不執行 JavaScript 時能拿到多少文字。試用與付費方案中的 AI 能見度檢查,會使用你自己的金鑰,透過啟用 Google 搜尋 grounding 的 Gemini API 提出你的問題,並顯示你的品牌或網域是否被提及或引用。它不會查詢 AI Overviews 或 AI Mode。

免費工具

下一步

本文提到的爬蟲

常見問題

可以免費檢查 Gemini 是否看得到我的網站嗎?

可以。Search Console、site: 搜尋、你的 robots.txt 以及在 Gemini 中提問,都不用花錢。AISeeWhy 的免費檢查每天可為一個頁面測試 Googlebot、Google-Extended 規則以及另外 14 種爬蟲。

Gemini 有自己的爬蟲嗎?

用於 grounding 的沒有。Google 表示 Google-Extended 沒有 user agent 字串,檢索是由其現有的爬蟲進行。另外,由使用者觸發的擷取程式(例如 Google-GeminiNotebook 與 Google-Agent)會在使用者要求時造訪頁面,Google 表示它們通常會忽略 robots.txt。

如果我封鎖 Google-Extended,Gemini 還會提到我的品牌嗎?

Google 表示不會把你的內容用於 Gemini 應用程式中的 grounding。這項規則針對的是你自己的頁面。對於其他網站上寫到你的內容,Google 沒有任何說明,因此 Gemini 仍可能根據這些來源提到你的品牌。

robots.txt 的變更要多久才會傳到 Gemini?

Google 沒有提供 Gemini 的生效時間。其 robots.txt 文件表示,Google 通常會將檔案快取最多 24 小時,所以至少等一天再重新測試;對於 Google 很少重新檢索的頁面,則要等更久。

AI Overviews 和 Gemini 使用相同的來源嗎?

Google 沒有說明兩者的關係。兩者都以 Google 的索引為基礎,但控制方式不同:AI Overviews 與 AI Mode 由摘要規則和 Search Console 設定控制,Gemini 的 grounding 則由 Google-Extended 控制。請分別檢查。

如何長期追蹤 Gemini 的答案?

準備一份固定的買家問題清單,定期在 Gemini 中提問,並記錄來源中出現了哪些網域。AISeeWhy 的 AI 能見度檢查每週透過啟用 Google 搜尋 grounding 的 Gemini API 執行你的問題,並與最多四個競爭對手並列顯示提及情況。API 的結果可能與 Gemini App 不同。

資料來源

更多文章