Googlebot
Googlebot 是 Google 用來建立搜尋索引的主要爬蟲。Google 表示，針對 Googlebot 的 robots.txt 規則決定了網站如何為搜尋而被擷取，包括 AI Overviews 與 AI Mode 等 AI 功能。封鎖它會使你的頁面從 Google 搜尋及這些 AI 回答中消失。
它的作用
Googlebot 用於尋找資訊，以建立 Google 的搜尋索引。針對 Googlebot 標記設定的擷取偏好，會影響 Google 搜尋，以及 Google 圖片、影片、Google 新聞與 Discover 等產品。它分為智慧型手機與桌面兩種爬蟲，兩者遵循相同的 Googlebot 規則，而 Google 表示其常用爬蟲在自動擷取時一律遵守 robots.txt。
Google 有關 AI 功能的文件將 Googlebot 規則描述為搜尋（包括 AI Overviews 與 AI Mode）的控制方式，並指出可使用 nosnippet、data-nosnippet、max-snippet 與 noindex 限制顯示的內容。用於 Gemini 訓練則由 Google-Extended 另行控制。
在我們 2026-11 的研究中，設有 robots.txt 的熱門網站裡有 2.7% 封鎖了它。 →
robots.txt 標記
Googlebot
User agent 字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36如何允許
User-agent: Googlebot
Allow: /如何封鎖
User-agent: Googlebot
Disallow: /如何驗證真實造訪
Google 指出 user agent 字串可能遭到偽造，並建議進行兩步驟的 DNS 檢查。先對發出請求的 IP 進行反向 DNS 查詢：主機名稱應以 googlebot.com、google.com 或 googleusercontent.com 結尾。再對該主機名稱進行正向查詢，確認傳回的是同一個 IP。Google 也以 JSON 格式公布其常用爬蟲的 IP 範圍，因此你可以自動比對位址。