GPTBot
GPTBot は、OpenAI の生成 AI 基盤モデルの学習に使われる可能性があるコンテンツを取得する OpenAI のクローラーです。robots.txt で禁止すると、コンテンツを学習に使わないよう OpenAI に伝えることになります。ブロックしても ChatGPT の検索回答から外れることはありません。検索回答は OAI-SearchBot に依存しています。
役割
OpenAI によると、GPTBot は生成 AI 基盤モデルをより有用で安全にするために使われます。これらのモデルの学習に使われる可能性があるコンテンツを取得し、GPTBot を禁止することは、サイトのコンテンツを学習に使うべきではないという意思表示になります。
許可するかどうかは、可視性の問題ではなくポリシーの判断です。ChatGPT の検索は別のクローラーである OAI-SearchBot を使い、OpenAI はこの 2 つの設定を互いに独立したものとして説明しています。両方を許可している場合、OpenAI は、2 回クロールしなくて済むよう、1 回のクロール結果を両方の目的に使うことがあるとしています。
2026-11の調査では、robots.txt を設置している人気サイトの 21.4% がこのクローラーをブロックしていました。 →
robots.txt のトークン
GPTBot
ユーザーエージェント文字列
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot許可する方法
User-agent: GPTBot
Allow: /ブロックする方法
User-agent: GPTBot
Disallow: /本物のアクセスかどうかを確認する方法
OpenAI は、このエージェントが使用する IP 範囲を JSON ファイルで公開しています。リクエストの送信元 IP をこの範囲と照合してください。GPTBot を名乗っていても別のアドレスから来たリクエストは、OpenAI のものではありません。OpenAI は、ユーザーエージェント内のバージョン番号が変わることがあると述べているため、文字列全体ではなく GPTBot トークンで照合してください。