robots.txtのContent-Signalとは?実際に従うクローラーはある?
Content-Signalは、Cloudflareが公開した、robots.txtに書く任意の行で、取得後にコンテンツをどう使ってよいかを示します。searchは検索結果、ai-inputはAIの回答への入力、ai-trainはモデルの学習を表し、それぞれyesかnoを設定します。例:Content-Signal: search=yes, ai-input=yes, ai-train=no。これは希望を表明するもので、何もブロックしません。2026年11月時点で、OpenAI、Anthropic、Google、Perplexityのクローラーのページはいずれもこの行を読むとは書いておらず、大手AI企業は代わりに、学習だけを対象とする別のトークンを支持しています。
robots.txtは、クローラーがどこに行ってよいかを示すために作られたもので、読んだ内容で何をしてよいかを示すものではありません。同じ取得が検索インデックス、AIのライブ回答、学習データのすべてに使われうるようになると、この隙間が問題になりました。Cloudflareはこれを埋めるため、2025年9月24日にContent Signals PolicyをCC0ライセンスで公開し、その時点で顧客はすでに380万を超えるドメインでマネージドrobots.txtを有効にしていたと述べました。この機能は、現在ではこの行を自動で追加します。
このページの内容
search、ai-input、ai-trainの意味は?
ポリシーでは3つのシグナルが定義されています。以下の文言は、contentsignals.orgとCloudflareが公開しているポリシーの本文に沿っています。
search:検索インデックスの構築と検索結果の提供。たとえば、ページへのハイパーリンクや短い抜粋を返すこと。定義では、AIが生成する検索の要約はsearchに含まれないとしています。ai-input:1つ以上のAIモデルにコンテンツを入力すること。たとえば、検索拡張生成(RAG)、グラウンディング、生成AIによる検索回答のためのその他のリアルタイムのコンテンツ利用。ai-train:AIモデルの学習またはファインチューニング。
各シグナルはyesかnoをとります。ポリシーの用語では、yesはその用途のためにコンテンツを収集してよいこと、noは収集してはならないことを意味し、書かなかったシグナルはその用途を許可も制限もしません。Cloudflareのデフォルトではsearchとai-trainを設定し、ai-inputは未設定のままにしています。顧客ごとのこのシグナルへの希望がわからず、推測したくないからだとしています。
最も見落とされやすいのが、searchとai-inputの区別です。AIの回答にページを使ってほしいなら、search=yesだけではその意思は伝わりません。伝わるのはai-input=yesです。
robots.txtにContent-Signal行を書くには?
Content-Signalは、ユーザーエージェントのグループ内にAllowやDisallowと並べて書き、シグナルはカンマで区切ります。contentsignals.orgでは、パスから始まる書き方も紹介しており、サイトの一部にほかとは異なるシグナルを付けられます。
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ AllowとDisallowはこれまでとまったく同じように機能し、Content-Signalはそれらに代わるものではありません。RFC 9309では、定義されたルールを妨げない限り、クローラーがプロトコルにないレコードを解釈することを認めているため、この行を知らないパーサーはスキップするはずです。
知っておきたい点が2つあります。1つ目は、この行はグループに属するということです。RFC 9309では、自分の名前を指定したグループがあるクローラーはUser-agent: *のグループを完全に無視し、Content Signalsのページはこの行の例外について何も説明していません。GooglebotやOAI-SearchBotに専用のグループを設けている場合は、contentsignals.orgのクローラー別の例と同じように、そこにもContent-Signal行を繰り返し書いてください。2つ目は、Google Search Consoleがこの行についてSyntax not understoodと報告する場合があることです。Cloudflareのドキュメントはこれに触れ、クロールやSEOへの影響は確認されていないとしています。Googleのrobots.txtのドキュメントでは、サポートされるフィールドはuser-agent、allow、disallow、sitemapだけです。
行の上にあるポリシーの文章には何が書かれている?
Content Signals Policyは1行だけではありません。contentsignals.orgにあるCloudflareのジェネレーターも、マネージドrobots.txtも、シグナルの上にコメントのブロックを置きます。冒頭で、ウェブサイトへのアクセスの条件としてコンテンツシグナルに従うことに同意するとし、続けて3つのシグナルと、yes、no、未記入の場合を定義しています。
最後は大文字の一文で、コンテンツシグナルで表明された制限は、デジタル単一市場における著作権に関するEU指令2019/790の第4条に基づく明示的な権利の留保であるとしています。Cloudflareの発表では、シグナルはさまざまな法域で法的な重みを持ちうると補足しています。
contentsignals.org自身も、裁判所や規制当局がrobots.txtファイルは法的に強制できる義務を課さないと結論づける可能性があると注意し、弁護士への相談を勧めています。コメントのブロックは、契約ではなく、自分の立場を書面で示したものとして扱ってください。
robots.txtにすでにContent-Signalが入っている?
サイトがCloudflare上にあれば、次の2つのいずれかの形で入っている可能性があります。
- マネージドrobots.txt。Bot Preference Syncがオンで、AI Crawler and Agent accessのポリシーの少なくとも1つがBlock、Block on pages with ads、またはTrainingの場合はDisallowに設定されていると、Cloudflareはサーバーが返すrobots.txtの先頭に管理用のブロックを追加します。そこには、ポリシーの文章、
User-Agent: *の下のContent-signal: search=yes, ai-train=no, use=reference、そしてAmazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagentに対するDisallow: /が含まれます。 - robots.txtがまったくない場合。Cloudflareによると、Freeプランのドメインで、独自のrobots.txtがなく、マネージド機能も使っていない場合、クローラーが
/robots.txtをリクエストするとContent Signals Policyが表示されます。このバージョンには定義は含まれますが、希望は何も表明されていません。
use=referenceの部分は最近加わったものです。Cloudflareはuseを、テスト中の任意の4つ目のフィールドとして説明しており、値は3つあります。immediate(やり取りはするが、何も保存・再利用しない)、reference(インデックス化、抜粋、リンクバック)、full(要約と再現)です。これは当初の3つのシグナルには含まれず、当社が確認したクローラーのドキュメントでも触れられていません。
Cloudflareはこれらの行をエッジで追加するため、リポジトリのファイルは変わっていないように見えても、クローラーが受け取るファイルは違っていることがあります。レスポンスが2つの異なるポリシーを示すことにならないよう、自分で行を追加する前に、公開中のhttps://yourdomain.com/robots.txtを取得してください。
大規模サイトでの採用はまだ少数です。2026年11月に人気上位1,000ドメインを対象に行った当社の調査では、robots.txtを返した518サイトのうち、Content-Signalを使っていたのは18サイト(3.5%)でした。
AIクローラーはContent-Signalに従う?
見つけられた限りのドキュメントでは、従っていません。2026年11月17日にOpenAI、Anthropic、Google、Perplexityのクローラーのページを確認しましたが、いずれもContent-Signalに触れていませんでした。Cloudflare自身も、シグナルはスクレイピングへの技術的な対抗手段ではなく希望の表明であり、単に無視する企業もあるかもしれないとしています。
AI企業が代わりに文書化しているのは、IETFのAI Preferencesワーキンググループの作業に基づく別の仕組みです。通常のUser-Agentグループとして書くポリシートークン__usage_ai-trainingです。対象は学習だけで、これを定義するInternet-Draftでは、User-Agent: *のグループはこのトークンの使用とみなされないとしています。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ 対応はまちまちで、一部はまだこれからです。Anthropicは、2026年10月30日から機械可読な汎用の学習シグナルを認識しており、段階的に展開していて、ClaudeBotを指定したルールのほうが優先されるとしています。MicrosoftはBing向けに__usage_ai-trainingトークンを文書化しており、新しい設定は2027年2月1日からページがクロールされるにつれて有効になります。Googleは2027年にこの共通の制御への対応を目指しており、そのトークンが指定されていない場合は、これによる学習のオプトアウトをGoogle-Extendedの禁止として扱う予定だとしています。OpenAIも同じ日に、時期は示さずに、共通シグナルを尊重するとの発表を公開しました。
つまり、ai-train=noと__usage_ai-trainingは似た内容を表しますが、AI企業による対応が文書化されているのは後者だけです。GPTBotやClaudeBotのようなクローラー別のトークンが、今も各ベンダーが実際に適用している制御です。
robots.txtにContent-Signalを追加すべき?
利用ポリシーを、機械にも人にも読める形で1か所に書いておきたいなら追加しましょう。すべてのクローラーに対するai-inputの希望を1行で表明することもできます。ベンダーのトークンでは、これをクローラーごとにしか表せません。コストは1行で、知らないパーサーはスキップします。
ただし、これだけに頼らないでください。学習からコンテンツを外すには、文書化された学習用トークンも禁止し、共通の学習トークンも検討してください。ベンダーごとのトークンは、AI検索に残りながらAI学習をブロックするガイドにまとめています。robots.txtを無視するものに対しては、ファイアウォールのルールだけがブロックを強制できます。
最後に、この行がファイルのほかの部分と矛盾していないか確認します。OAI-SearchBotやPerplexityBotのAllowグループの横にai-input=noがあると、AI検索クローラーを招き入れながら、取得した内容を回答に使ってはいけないと言っていることになり、矛盾したメッセージになります。
robots.txtが各クローラーに何を伝えているかを確認するには?
無料のAISeeWhy robots.txtテスターは、ページのアドレスか貼り付けたrobots.txtを受け取り、AIクローラーと検索クローラーごとに、そのページを取得してよいかを表示します。Cloudflareが先頭に追加した内容も含めて、公開中のファイルが意図どおりの内容かを確認できます。無料のrobots.txtジェネレーターは、選んだ内容からファイルを作成します。
次のステップ
この記事に登場するクローラー
よくある質問
Content-Signalはrobots.txtの標準の一部?
いいえ。RFC 9309はUser-agent、Allow、Disallowを定義し、クローラーがそのほかのレコードを解釈することを認めています。Content-Signalは、CC0ライセンスで公開されたCloudflareのContent Signals Policyに由来します。これとは別に、IETFのAI Preferencesワーキンググループがrobots.txt用の独自のContent-Usageルールを策定中ですが、まだ標準ではなくInternet-Draftの段階です。
ai-train=noでGPTBotやClaudeBotを止められる?
ベンダーのドキュメントを見る限り、止められません。OpenAIとAnthropicはGPTBotやClaudeBotを指定するrobots.txtのルールによる制御を説明しており、どちらのクローラーのページもContent-Signalには触れていません。どちらでも学習をオプトアウトするには、トークンを名前で指定して禁止してください。
Content-Signalと__usage_ai-trainingの違いは?
Content-Signalはグループ内の1行で、検索、AIへの入力、学習を対象にします。__usage_ai-trainingは独立したUser-Agentグループとして使うポリシートークンで、対象は学習だけです。Anthropic、Microsoft、Google、OpenAIは共通の学習シグナルについて声明を出していますが、Content-Signalを文書化している企業はありません。
Google Search Consoleに「Syntax not understood」と表示されるのはなぜ?
Googleのrobots.txtのドキュメントがサポートしているのはuser-agent、allow、disallow、sitemapだけなので、それ以外の行は指摘されることがあります。Cloudflareによると、こうした報告によるクロール頻度やSEOへの影響は確認されていません。
use=referenceの意味は?
Cloudflareがテスト中の4つ目のフィールドです。referenceは、インデックス化、抜粋、リンクバックを意味します。Cloudflareはこれをマネージドrobots.txtに追加しており、当社が確認したクローラーのドキュメントでは触れられていません。
参考資料
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy:AIクローラーアクセスレポート、2026-11