AI クローラー向け robots.txt ジェネレーター
サイトの読み取りを許可する AI クローラーを選んで、生成された robots.txt をコピーします。よくある選択は、GPTBot や ClaudeBot などの AI 学習用クローラーはブロックし、OAI-SearchBot や PerplexityBot などの AI 検索クローラーは許可する方法です。これにより、ページが AI の回答に表示され、引用される状態を保てます。
ユーザーの依頼で動作する取得ツールをブロックしても、効果は限定的です。人がページを依頼したため、これらのエージェントは robots.txt に従わないことがある、と述べているベンダーもあります。公開する前に、robots.txt チェッカーで結果をテストしてください。 AI クローラー向け robots.txt チェッカー →
使い方
ファイルをドメインのルート(https://example.com/robots.txt)に置きます。ほかのクローラー向けのルールがすでにある場合は残し、AI のグループだけを追加します。変更は各クローラーが次にファイルを読んだときに反映され、通常は 1 日以内です。