CloudflareのAI Crawl Controlレポートを読み、どのAIクローラーが入れているかを確認する方法
CloudflareのダッシュボードでAI Crawl Controlを開きます。クローラーの一覧には、Cloudflareが自分のドメインで検出したすべてのAIクローラーについて、リクエスト数、robots.txt違反、アクションがAllowかBlockかが表示されます。AI検索を残しつつ学習を拒否するには、そこかAI Crawler and Agent access policiesで、検索クローラーとエージェントのクローラーを許可し、学習用クローラーをブロックまたは禁止(Disallow)にします。そのあと外部からcurlで確認してください。Cloudflareのほかの機能が、許可したクローラーをブロックし続けることがあるからです。
Cloudflareには現在、AIクローラーに何を返すかを決める場所が2つあります。以前はAI Auditと呼ばれていた、クローラーごとのレポート兼操作盤であるAI Crawl Controlと、セキュリティ設定の中にあるゾーン全体のAI Crawler and Agent access policiesです。どちらもFreeプランで使え、どちらも2026年に変更があり、どちらも、クローラーに403を返しうるほかの機能については教えてくれません。このガイドでは、レポートを列ごとに説明し、許可とブロックの設定場所を示し、最後に自分のマシンから実行できるテストを紹介します。
このページの内容
CloudflareのAIクローラーレポートはどこにある?
ダッシュボードでアカウントとドメインを選び、AI Crawl Controlを開きます。Cloudflareによると、設定なしで動作し、ドメインのトラフィックがCloudflareを経由(プロキシ)している限り、すべてのプランで利用できます。4つの領域があります。
- Overview:総リクエスト数、量の変化、最も多いステータスコード、最も人気のあるパス、大量にアクセスしているクローラーをまとめたエグゼクティブサマリーに加え、Cloudflareのマネージドrobots.txtがオンかどうかと、OpenAI、Microsoft、Google、ByteDance、Anthropic、Metaなど運営者別にまとめたクローラーが表示されます。
- クローラーの一覧:AIクローラーごとに1行で、Action列でAllowかBlockを選びます。Cloudflareのドキュメントでは、このタブをあるページではCrawlers、別のページではSecurityと呼んでいるので、Action列のある表を探してください。
- Metrics:時間ごとのリクエスト数、ステータスコードの分布、コンテンツの形式、最も人気のあるパス、そして有料プランでは参照(referrals)。期間、クローラー、運営者、ホスト名、パスで絞り込め、CSVでエクスポートできます。
- Directives:robots.txtファイルの状態と、robots.txt違反の一覧。
数値を読むときに重要なプランの制限が2つあります。Freeプランでは、AI Crawl Controlはユーザーエージェントの文字列だけでクローラーを識別するため、名乗っているクローラーしか見えず、Metricsタブの対象は過去24時間です。有料プランではBot Managementの検出IDによる検出が加わり、Bot Management付きのEnterpriseでは期間を自由に設定できます。
AI Crawl Controlレポートの各列と指標は何を意味する?
Cloudflareは各項目を次のように説明しています。いくつかの数値は想像より広い範囲を数えるため、定義が重要です。
- CrawlerとCategory:クローラーの名前、運営者、カテゴリ(AIクローラー、AIアシスタント、アーカイバーなど)。
- Requests:許可されたリクエストと失敗したリクエストの合計で、推移のグラフ付きです。失敗したリクエストは、AI Crawl Controlのブロックだけでなく、あらゆるルールやレスポンスのエラーから生じます。そのため、許可したクローラーでこの数値が高ければ、別のルールかオリジンのエラーが原因です。
- Allowed requests:200〜299のステータスを受け取ったリクエスト。データ転送量は、許可されたリクエストに対してCloudflareが送ったバイト数で計測されます。
- Robots.txt violations:robots.txtで禁止しているパスをクローラーがリクエストした回数。Cloudflareは過去のリクエストを現在のルールと照らし合わせるため、今日追加したルールによって、当時は許可されていたリクエストが違反として表示されることがあります。
- Action:Allow、Block、またはpay per crawlのベータに参加しているアカウントではCharge。
- ステータスコードの分布:2xx、3xx、4xx、5xx。4xxには、ブロックによる403とpay per crawlによる402が含まれます。
- 参照と上位の参照元(有料プランのみ):chatgpt.comなどAIサービスから来た訪問と、そのランディングページ。
レポートは、自分が選んだアクションを起点に読みます。Allowにしたクローラーは、許可されたリクエストと2xxが大半のはずです。失敗したリクエストが多い場合は、そのクローラーで絞り込んだステータスコードの分布を開き、Security Analyticsで応答したルールを探してください。
CloudflareでAI検索クローラーを許可し、学習用クローラーをブロックするには?
クローラーごとにも、動作の種類ごとにも設定できます。クローラーごとに設定するには、AI Crawl Controlを開き、各行のActionを設定します。Cloudflareによると、そこでブロックするとゾーンにWAFカスタムルールが作成または更新され、WAFでそのルールを拡張してパスの例外を加えられます。有料プランでは、ブロックしたクローラーに403と402のどちらを返すかを選び、プレーンテキストの本文を設定できます。
動作の種類ごとに設定するには、Security、Settingsの順に進み、Bot trafficで絞り込んで、AI Crawler and Agent access policiesを開きます。CloudflareはAIのトラフィックを3つの動作に分類しており、各ポリシーは、その動作をする検証済みボットと、一致する未検証のボットに適用されます。
- Search:あとで質問に答えられるように、コンテンツを収集またはインデックスする。
- Agent:チャットからの取得やブラウザエージェントなど、人の代わりにリアルタイムで動作する。
- Training:モデルの学習やファインチューニングのためにコンテンツを収集する。学習と検索の両方に使われるクローラーも含みます。
各動作は、Block、Block on pages with ads(広告のあるページでブロック)、Allow (do not block)に設定できます。Trainingにはさらに、robots.txtでクローラーに求めるだけのDisallowがあります。Bot Preference Syncをオンにすると、Cloudflareはrobots.txtの先頭に、Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagentを禁止するマネージドルールを追加し、Content Signalsの行を加え、さらにエッジでもAI学習用クローラーをブロックします。ただし、検索と学習の両方に使われるクローラーは除きます。
AIからの引用を得たいほとんどのサイトにとって安全な組み合わせは、SearchとAgentをAllow、TrainingをDisallowにし、そのうえでエッジで止めたい学習専用のクローラーに、AI Crawl Controlで個別にBlockを設定することです。
CloudflareのAIクローラーの既定値はどう変わった?
2025年7月1日、Cloudflareは、AIクローラーがコンテンツ制作者に対価を払わない限りブロックする既定値に変更すると発表しました。2026年7月1日には、単一のBlock AI botsスイッチを、上で説明したSearch、Agent、Trainingの個別のポリシーに置き換え、Freeを含むすべてのプランに適用しました。同じ発表では、2026年9月15日以降に追加される新しいドメインでは、広告を表示するページでTrainingとAgentがブロックされ、Searchは許可されるとしていました。
2026年11月2日に最終更新されたCloudflareの現行のポリシーのドキュメントでは、新しいドメインの既定値は3つの動作すべてでAllow (do not block)となっています。Cloudflare自身のページが時期によって異なる既定値を説明してきたため、自分のゾーンについてはどれにも頼らず、ポリシーのページを開いて実際の設定を確認してください。
許可したのに、CloudflareがAIクローラーをブロックし続けるのはなぜ?
AI Crawl ControlのAllowアクションが止めるのは、AI Crawl Control自身によるブロックだけです。ほかの機能は引き続きリクエストに作用します。よくある原因は次のとおりです。
- Trainingをブロックすると、両方を行う検索クローラーもブロックされる。CloudflareのドキュメントによるとTrainingのアクションは多目的のクローラーにも適用され、2026年7月の発表では、Trainingをブロックした顧客が2026年9月15日からブロックすることになるクローラーとして、Googlebot、Applebot、bingbotを挙げています。Disallowのほうが範囲の狭い選択肢です。そのエッジでのブロックは多目的のクローラーを対象外にするからです。
- Bot Fight Modeがオンになっている。Cloudflareは、WAFカスタムルールやPage RulesではBot Fight Modeをバイパスまたはスキップできないと明言しています。クローラーにチャレンジを返している場合は、オフにするか、利用できるプランならスキップルールに対応したSuper Bot Fight Modeを使ってください。
botを含むユーザーエージェントをブロックする古いWAFカスタムルールがある、またはレート制限ルールが連続アクセスに429を返している。これらは、AI Crawl ControlのActionとは関係なく動作します。- ブロックルールが手作業で編集されている。AI Crawl Controlの背後にあるWAFルールが別のレスポンスコードに変更されると、ダッシュボードは選択内容を適用できなくなります。
- robots.txtがまだそのクローラーを禁止している。CloudflareのAllowはrobots.txtを変更しないため、ルールを守るクローラーはそれでも近づきません。最も人気のある1,000ドメインを対象にした私たちの調査では、robots.txtでAI学習用クローラーをブロックしていた155サイトのうち98サイトが、AI検索クローラーかユーザー用クローラーの少なくとも1つもブロックしていました。
CloudflareがどのAIクローラーを通しているかを外部から確認するには?
同じページを、ブラウザのユーザーエージェントと、各クローラーのユーザーエージェントでリクエストし、ステータスとサイズを比べます。以下のOpenAI、Perplexity、Googleの文字列は、各社が公開しているものです。
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" クローラーの行が403、429、503を返す、あるいはブラウザの行よりサイズがはるかに小さい場合は、オリジンの手前にある何かが異なる応答をしています。FreeプランのAI Crawl Controlはユーザーエージェントでクローラーを検出するため、このテストはそのブロックを確認する方法として妥当です。検証済みボットのステータスやボットスコアに基づくルールは、あなたのリクエストを本物のクローラーとは異なる扱いにすることがあります。リクエストは運営者が公開しているIPレンジからではなく、あなたのIPアドレスから送られるからです。テストのあと、Security Analyticsで自分のリクエストを探し、どのルールに一致したかを確認してください。
AISeeWhyは、CloudflareがAIクローラーに返す内容をどう確認する?
無料のAISeeWhyチェックは、本物のブラウザと並べて、16種類のAIクローラーと検索クローラーとしてページをリクエストし、クローラーごとにrobots.txtを適用し、ファイアウォールのチャレンジページを識別します。これで、Cloudflareのダッシュボードの結果が、クローラーが実際に受け取っている内容と一致しているかを確認できます。
この問題の修正方法
次のステップ
この記事に登場するクローラー
よくある質問
CloudflareのAI Crawl Controlは無料?
はい。Cloudflareは、AI Crawl Controlをすべてのプランで利用できるとしています。Freeプランではユーザーエージェントだけでクローラーを検出し、Metricsには過去24時間が表示されます。参照データやカスタムのブロック応答には有料プランが必要です。
CloudflareのAI Auditはどうなった?
名前が変わりました。Cloudflareのドキュメントでは、AI Crawl Controlを旧AI Auditと説明しており、目的は同じで、どのAIクローラーが訪れているかを確認し、それぞれにアクションを設定することです。
AI Crawl Controlでクローラーをブロックすると、robots.txtは変わる?
変わりません。Blockアクションは、WAFカスタムルールを作成または更新します。robots.txtが変わるのは、Bot Preference SyncでTrainingのDisallowオプションを使った場合だけで、そのときCloudflareのマネージドルールがファイルの先頭に追加されます。
Cloudflareでは何がrobots.txt違反として数えられる?
robots.txtで禁止しているパスへのAIクローラーからのリクエストです。Cloudflareは過去のリクエストを現在のルールと照らし合わせるため、新しいルールによって、当時は許可されていた古いリクエストが違反として表示されることがあります。
pay per crawlとは?
AIクローラーにリクエストごとの支払いを求めるChargeアクションで、支払わない場合はHTTP 402と価格を返します。Cloudflareはクローズドベータと説明しており、WAFやBot Managementのブロックがこれより優先されます。
参考資料
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy:AIクローラーアクセスレポート、2026-11