Gemini 看得到我的網站嗎?檢查方法
只有當頁面在 Google 搜尋索引中,且你的 robots.txt 沒有禁止 Google-Extended 識別名稱時,Gemini 才能在以搜尋為依據(grounding)的答案中使用你的頁面。Google 表示,Gemini App 中的 grounding 會把 Google 搜尋索引中的內容提供給模型,而 Google-Extended 控制你的內容能否用於這個用途。因此請在 Search Console 檢查索引狀態,檢查 robots.txt 中針對 Googlebot 與 Google-Extended 的規則,再向 Gemini 提出買家會問的問題並開啟它的來源。
Gemini 沒有一個能像其他助理那樣在日誌中追蹤的專屬爬蟲。Google 使用現有的爬蟲檢索,再由 robots.txt 中的一個識別名稱決定 Gemini 可以如何使用這些內容。所以檢查方式也不同:大部分在 Google Search Console 和你的 robots.txt 中完成,最後一步則在 Gemini 裡進行。
本頁內容
5 分鐘檢查,逐步說明
- 在 Google 搜尋
site:加上你的頁面網址,或使用 Search Console 的網址檢查工具,確認該頁面已在 Google 的索引中。 - 開啟你的 robots.txt,確認
Googlebot可以擷取該頁面,且Google-Extended沒有被禁止,除非你選擇了退出。 - 在 AISeeWhy 上免費檢查該頁面,或以
Googlebot的 user agent 送出一個請求:它必須得到狀態碼 200 以及和瀏覽器相同的文字。 - 向 Gemini 提出一個你的頁面能回答的問題,並開啟回答下方顯示的來源。
如果頁面沒有被編入索引,Gemini 的事實依據功能就無法使用它,所以請從第 1 步開始。下面的段落會說明每個步驟,以及沒有通過時該怎麼做。
Gemini 如何從網站取得資訊?
Google 的 Gemini 應用程式隱私權中心(Gemini Apps Privacy Hub)表示,Gemini 的部分回答會以搜尋結果為依據(grounding)。Google 的爬蟲文件將 grounding 定義為在提示時把 Google 搜尋索引中的內容提供給模型,以提升正確性與關聯性。同一頁面指出,Google-Extended 控制 Google 檢索的內容能否用於訓練 Gemini 模型,以及能否用於 Gemini 應用程式中的 grounding 和 Vertex AI 上的 Grounding with Google Search。
Google-Extended 沒有自己的 user agent 字串。Google 表示檢索是由其現有的 user agent 進行,這個識別名稱只在 robots.txt 中作為控制項。實際上,Gemini 要使用你的頁面必須符合兩個條件:Google 已將頁面編入索引,而且你的 robots.txt 沒有對該頁面禁止 Google-Extended。
Google 並未說明 Gemini 如何選擇要使用或引用哪些已編入索引的頁面。符合這兩個條件能讓你的頁面可供使用,但不保證 Gemini 會選中它。
如何檢查 Google 是否已將我的頁面編入索引?
使用 Google Search Console 中的網址審查工具(URL Inspection)。針對已編入索引的版本,它會顯示:
- 頁面是否已編入索引,或是原因,例如「Google 無法辨識這個網址」。
- 上次檢索日期,以及 Google 是以電腦版還是行動版訪客的身分檢索。
- 頁面擷取是否成功,以及 robots.txt 是否允許檢索。
- 你宣告的標準網址,以及 Google 選取的標準網址。兩者不同時,Google 會把自己的選擇視為該頁面的權威版本。
「測試線上網址」會即時擷取頁面,「查看已測試的網頁」則顯示螢幕截圖與 Google 收到的 HTML。如果截圖是驗證挑戰頁,或 HTML 缺少主要文字,Google 以及隨之而來的 Gemini 都看不到你的內容。「要求建立索引」會請 Google 重新檢索該網址;Google 表示通常需要約一天,且不保證一定會編入索引。
Google-Extended 是否正在阻止 Gemini 使用我的網站?
開啟你的 robots.txt,找找看有沒有點名 Google-Extended 的群組。其中的 Disallow: / 會告訴 Google 不要把你的頁面用於 Gemini 訓練,也不要用於 Gemini 應用程式中的 grounding。Google 表示這個識別名稱不影響頁面能否出現在 Google 搜尋中,也不是排名信號,所以這種封鎖很容易被忽略:你的搜尋流量看起來一切正常,Gemini 卻無法以你的頁面為依據產生答案。我們另有一篇關於 AI Overviews 與 Google-Extended 的文章,說明這個識別名稱在搜尋中能控制什麼、不能控制什麼。
由於這個識別名稱從不出現在請求中,你無法用 curl 測試它,也無法在日誌中找到它。閱讀檔案是唯一的檢查方式:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" 比對不分大小寫;如果沒有群組點名 Google-Extended,就由 * 群組套用到它。許多網站在 AI 訓練剛開始受到討論時就加上了這項封鎖。在我們針對最熱門的 1,000 個網域所做的研究中,有 robots.txt 的 518 個網站裡,114 個點名了 Google-Extended,其中 94 個(18.1%)對它禁止了首頁。既然它也涵蓋 grounding,請判斷這是否仍符合你的需求。
防火牆會不會擋住 Google,卻放行瀏覽器?
會。如果機器人防護或速率限制以 403、429 或驗證挑戰頁回應 Google 的爬蟲,Google 就無法檢索該頁面,時間一久,頁面可能從搜尋中消失,也就隨之從 Gemini 的 grounding 中消失。網址審查是這裡最好的測試,因為 Google 是從自己的位址擷取頁面;從你的電腦用 curl 測試,只能看出你的規則如何對待該 user agent。
想安全地放行 Google,請驗證訪客,而不是相信名稱。Google 的文件說明了先做反向 DNS 查詢、再做正向查詢的方法,並在 common-crawlers.json 中公布了常見爬蟲的 IP 範圍:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com 把範例位址換成你日誌中的位址。如果兩次查詢的結果不一致,這個請求只是自稱來自 Google。
如何知道 Gemini 是否使用或引用了我的網站?
向 Gemini 提出買家會問的問題,不要提到你的網站名稱,然後開啟來源。Google 說明中心表示,「來源」按鈕會出現在回答底部或內文中,點選後會開啟相關連結面板,其中可能包含公開網站。如果沒有「來源」按鈕,代表 Gemini 沒有為該回答提供連結,Google 也指出並非所有回答都會附上連結。記下出現了哪些網域,並在幾週內重複提出相同的問題。
開發人員可以透過啟用 Grounding with Google Search 的 Gemini API 進行同樣的測試。Google 表示它會把模型連結到即時的網路內容,而以搜尋為依據的答案會附上每個來源的網址與標題作為引用,因此你可以檢查自己的網域是否出現。API 的答案可能與 Gemini App 顯示的不同。
有些與 Gemini 相關的擷取確實會到達你的伺服器。Google 列出了由使用者觸發的擷取程式,例如 Google-GeminiNotebook,它會請求使用者以來源身分加入 Gemini Notebook 專案的網址;還有 Google-Agent,由在 Google 基礎架構上代表使用者執行請求的代理程式使用。Google 表示,由於擷取是使用者要求的,這些擷取程式通常會忽略 robots.txt。它們的造訪代表有人透過這些產品開啟了你的頁面;它們不是上文所述的 grounding 途徑。
AI Overviews、AI Mode 與摘要規則會影響 Gemini 嗎?
AI Overviews 和 AI Mode 是 Google 搜尋的功能,有各自的控制方式。Google 列出 nosnippet、data-nosnippet、max-snippet 與 noindex,作為限制你的頁面顯示內容的方法。其 robots 中繼標記文件表示,nosnippet 也會防止內容被直接用作 AI Overviews 和 AI Mode 的輸入,而 max-snippet 會限制可使用的內容量。Search Console 另有一項全站的搜尋生成式 AI 設定,可以讓網站排除在 AI Overviews、AI Mode 以及 Discover 中的生成式 AI 功能之外。
這些頁面都沒有提到 Gemini App。不要假設摘要規則或 Search Console 設定會改變 Gemini 的 grounding,也不要假設 Google-Extended 會改變 AI Overviews。noindex 是例外:依照 Google 對 grounding 的定義,不在搜尋索引中的頁面無法用於 grounding。想找出你可能已經忘記的摘要規則,請檢查 HTML 與回應標頭:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy 如何檢查這些項目?
AISeeWhy 免費檢查會以 Googlebot 以及其他 AI 與搜尋爬蟲的身分擷取你的頁面,並與真實瀏覽器對照,對每個爬蟲套用你的 robots.txt(包括 Google-Extended 識別名稱),辨識驗證挑戰頁,並顯示在不執行 JavaScript 時能拿到多少文字。試用與付費方案中的 AI 能見度檢查,會使用你自己的金鑰,透過啟用 Google 搜尋 grounding 的 Gemini API 提出你的問題,並顯示你的品牌或網域是否被提及或引用。它不會查詢 AI Overviews 或 AI Mode。
下一步
本文提到的爬蟲
常見問題
可以免費檢查 Gemini 是否看得到我的網站嗎?
可以。Search Console、site: 搜尋、你的 robots.txt 以及在 Gemini 中提問,都不用花錢。AISeeWhy 的免費檢查每天可為一個頁面測試 Googlebot、Google-Extended 規則以及另外 14 種爬蟲。
Gemini 有自己的爬蟲嗎?
用於 grounding 的沒有。Google 表示 Google-Extended 沒有 user agent 字串,檢索是由其現有的爬蟲進行。另外,由使用者觸發的擷取程式(例如 Google-GeminiNotebook 與 Google-Agent)會在使用者要求時造訪頁面,Google 表示它們通常會忽略 robots.txt。
如果我封鎖 Google-Extended,Gemini 還會提到我的品牌嗎?
Google 表示不會把你的內容用於 Gemini 應用程式中的 grounding。這項規則針對的是你自己的頁面。對於其他網站上寫到你的內容,Google 沒有任何說明,因此 Gemini 仍可能根據這些來源提到你的品牌。
robots.txt 的變更要多久才會傳到 Gemini?
Google 沒有提供 Gemini 的生效時間。其 robots.txt 文件表示,Google 通常會將檔案快取最多 24 小時,所以至少等一天再重新測試;對於 Google 很少重新檢索的頁面,則要等更久。
AI Overviews 和 Gemini 使用相同的來源嗎?
Google 沒有說明兩者的關係。兩者都以 Google 的索引為基礎,但控制方式不同:AI Overviews 與 AI Mode 由摘要規則和 Search Console 設定控制,Gemini 的 grounding 則由 Google-Extended 控制。請分別檢查。
如何長期追蹤 Gemini 的答案?
準備一份固定的買家問題清單,定期在 Gemini 中提問,並記錄來源中出現了哪些網域。AISeeWhy 的 AI 能見度檢查每週透過啟用 Google 搜尋 grounding 的 Gemini API 執行你的問題,並與最多四個競爭對手並列顯示提及情況。API 的結果可能與 Gemini App 不同。
資料來源
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy:AI 爬蟲存取報告,2026-11