GPTBot
OpenAI · AI 训练
GPTBot 是 OpenAI 的爬虫，抓取的内容可能用于训练其生成式 AI 基础模型。在 robots.txt 中禁止它，即告知 OpenAI 不要将你的内容用于训练。屏蔽它不会让你从 ChatGPT 搜索回答中消失，因为那取决于 OAI-SearchBot。
它的作用
OpenAI 表示，GPTBot 用于让其生成式 AI 基础模型更有用、更安全。它抓取可能用于训练这些模型的内容，禁止 GPTBot 表示网站内容不应用于训练。
是否允许它是策略决定，与可见性无关。ChatGPT 搜索使用另一个爬虫 OAI-SearchBot，OpenAI 的文档将这两项设置说明为相互独立。当两者都被允许时，OpenAI 表示可能把一次抓取的结果同时用于两种目的，以避免重复抓取。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，21.4% 屏蔽了它。 →
robots.txt 标识
GPTBot
User agent 字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot如何允许
User-agent: GPTBot
Allow: /如何屏蔽
User-agent: GPTBot
Disallow: /如何验证真实访问
OpenAI 以 JSON 文件形式公布该代理使用的 IP 范围。请将请求的来源 IP 与这些范围比对；自称 GPTBot 但来自其他地址的请求并非来自 OpenAI。OpenAI 提示，user agent 中的版本号可能变化，因此请匹配 GPTBot 标识，而不是整个字符串。