Googlebot
Google · 搜索引擎
Googlebot 是 Google 用于建立搜索索引的主要爬虫。Google 表示，针对 Googlebot 的 robots.txt 规则决定网站如何被搜索抓取，包括 AI Overviews 和 AI Mode 等 AI 功能。屏蔽它会使你的页面从 Google 搜索和这些 AI 回答中消失。
它的作用
Googlebot 用于查找信息以建立 Google 的搜索索引。针对 Googlebot 标识设置的抓取偏好会影响 Google 搜索，以及 Google 图片、视频、Google 新闻和 Discover 等产品。它分为智能手机和桌面两种爬虫，二者遵循同样的 Googlebot 规则，Google 表示其常用爬虫在自动抓取时始终遵守 robots.txt。
Google 关于 AI 功能的文档将 Googlebot 规则描述为对搜索（包括 AI Overviews 和 AI Mode）的控制方式，并指出可用 nosnippet、data-nosnippet、max-snippet 和 noindex 限制展示的内容。用于 Gemini 训练则由 Google-Extended 单独控制。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，2.7% 屏蔽了它。 →
robots.txt 标识
Googlebot
User agent 字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36如何允许
User-agent: Googlebot
Allow: /如何屏蔽
User-agent: Googlebot
Disallow: /如何验证真实访问
Google 指出 user agent 字符串可以被伪造，并建议进行两步 DNS 检查。先对请求的 IP 做反向 DNS 查询：主机名应以 googlebot.com、google.com 或 googleusercontent.com 结尾。再对该主机名做正向查询，确认返回的是同一个 IP。Google 还以 JSON 形式公布其常用爬虫的 IP 范围，因此可以自动比对地址。