GPTBot
OpenAI · AI 訓練
GPTBot 是 OpenAI 的爬蟲,擷取的內容可能用於訓練其生成式 AI 基礎模型。在 robots.txt 中禁止它,即表示告知 OpenAI 不要將你的內容用於訓練。封鎖它不會讓你從 ChatGPT 搜尋的回答中消失,因為那取決於 OAI-SearchBot。
它的作用
OpenAI 表示,GPTBot 用於讓其生成式 AI 基礎模型更實用、更安全。它擷取可能用於訓練這些模型的內容,而禁止 GPTBot 即表示網站內容不應用於訓練。
是否允許它是政策決定,與能見度無關。ChatGPT 搜尋使用另一個爬蟲 OAI-SearchBot,OpenAI 的文件說明這兩項設定彼此獨立。當兩者都被允許時,OpenAI 表示可能將一次擷取的結果同時用於兩種目的,以避免重複擷取。
在我們 2026-11 的研究中,設有 robots.txt 的熱門網站裡有 21.4% 封鎖了它。 →
robots.txt 標記
GPTBot
User agent 字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
如何允許
User-agent: GPTBot
Allow: /
如何封鎖
User-agent: GPTBot
Disallow: /
如何驗證真實造訪
OpenAI 以 JSON 檔案公布此代理程式使用的 IP 範圍。請將請求的來源 IP 與這些範圍比對;自稱 GPTBot 但來自其他位址的請求並非來自 OpenAI。OpenAI 指出 user agent 中的版本號碼可能變動,因此請比對 GPTBot 標記,而不是完整字串。