GPTBot

OpenAI · AI 訓練

GPTBot 是 OpenAI 的爬蟲,擷取的內容可能用於訓練其生成式 AI 基礎模型。在 robots.txt 中禁止它,即表示告知 OpenAI 不要將你的內容用於訓練。封鎖它不會讓你從 ChatGPT 搜尋的回答中消失,因為那取決於 OAI-SearchBot。

它的作用

OpenAI 表示,GPTBot 用於讓其生成式 AI 基礎模型更實用、更安全。它擷取可能用於訓練這些模型的內容,而禁止 GPTBot 即表示網站內容不應用於訓練。

是否允許它是政策決定,與能見度無關。ChatGPT 搜尋使用另一個爬蟲 OAI-SearchBot,OpenAI 的文件說明這兩項設定彼此獨立。當兩者都被允許時,OpenAI 表示可能將一次擷取的結果同時用於兩種目的,以避免重複擷取。

在我們 2026-11 的研究中,設有 robots.txt 的熱門網站裡有 21.4% 封鎖了它。 →

robots.txt 標記

GPTBot

User agent 字串

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

如何允許

User-agent: GPTBot
Allow: /

如何封鎖

User-agent: GPTBot
Disallow: /

如何驗證真實造訪

OpenAI 以 JSON 檔案公布此代理程式使用的 IP 範圍。請將請求的來源 IP 與這些範圍比對;自稱 GPTBot 但來自其他位址的請求並非來自 OpenAI。OpenAI 指出 user agent 中的版本號碼可能變動,因此請比對 GPTBot 標記,而不是完整字串。

檢查你的網站是否允許它進入 →

OpenAI 爬蟲全解析:GPTBot、OAI-SearchBot 與 ChatGPT-User →