CloudflareのAI Crawl Controlレポートを読み、どのAIクローラーが入れているかを確認する方法

公開日

結論

CloudflareのダッシュボードでAI Crawl Controlを開きます。クローラーの一覧には、Cloudflareが自分のドメインで検出したすべてのAIクローラーについて、リクエスト数、robots.txt違反、アクションがAllowかBlockかが表示されます。AI検索を残しつつ学習を拒否するには、そこかAI Crawler and Agent access policiesで、検索クローラーとエージェントのクローラーを許可し、学習用クローラーをブロックまたは禁止(Disallow)にします。そのあと外部からcurlで確認してください。Cloudflareのほかの機能が、許可したクローラーをブロックし続けることがあるからです。

Cloudflareには現在、AIクローラーに何を返すかを決める場所が2つあります。以前はAI Auditと呼ばれていた、クローラーごとのレポート兼操作盤であるAI Crawl Controlと、セキュリティ設定の中にあるゾーン全体のAI Crawler and Agent access policiesです。どちらもFreeプランで使え、どちらも2026年に変更があり、どちらも、クローラーに403を返しうるほかの機能については教えてくれません。このガイドでは、レポートを列ごとに説明し、許可とブロックの設定場所を示し、最後に自分のマシンから実行できるテストを紹介します。

このページの内容
  1. CloudflareのAIクローラーレポートはどこにある?
  2. AI Crawl Controlレポートの各列と指標は何を意味する?
  3. CloudflareでAI検索クローラーを許可し、学習用クローラーをブロックするには?
  4. CloudflareのAIクローラーの既定値はどう変わった?
  5. 許可したのに、CloudflareがAIクローラーをブロックし続けるのはなぜ?
  6. CloudflareがどのAIクローラーを通しているかを外部から確認するには?
  7. AISeeWhyは、CloudflareがAIクローラーに返す内容をどう確認する?

CloudflareのAIクローラーレポートはどこにある?

ダッシュボードでアカウントとドメインを選び、AI Crawl Controlを開きます。Cloudflareによると、設定なしで動作し、ドメインのトラフィックがCloudflareを経由(プロキシ)している限り、すべてのプランで利用できます。4つの領域があります。

数値を読むときに重要なプランの制限が2つあります。Freeプランでは、AI Crawl Controlはユーザーエージェントの文字列だけでクローラーを識別するため、名乗っているクローラーしか見えず、Metricsタブの対象は過去24時間です。有料プランではBot Managementの検出IDによる検出が加わり、Bot Management付きのEnterpriseでは期間を自由に設定できます。

AI Crawl Controlレポートの各列と指標は何を意味する?

Cloudflareは各項目を次のように説明しています。いくつかの数値は想像より広い範囲を数えるため、定義が重要です。

レポートは、自分が選んだアクションを起点に読みます。Allowにしたクローラーは、許可されたリクエストと2xxが大半のはずです。失敗したリクエストが多い場合は、そのクローラーで絞り込んだステータスコードの分布を開き、Security Analyticsで応答したルールを探してください。

CloudflareでAI検索クローラーを許可し、学習用クローラーをブロックするには?

クローラーごとにも、動作の種類ごとにも設定できます。クローラーごとに設定するには、AI Crawl Controlを開き、各行のActionを設定します。Cloudflareによると、そこでブロックするとゾーンにWAFカスタムルールが作成または更新され、WAFでそのルールを拡張してパスの例外を加えられます。有料プランでは、ブロックしたクローラーに403と402のどちらを返すかを選び、プレーンテキストの本文を設定できます。

動作の種類ごとに設定するには、Security、Settingsの順に進み、Bot trafficで絞り込んで、AI Crawler and Agent access policiesを開きます。CloudflareはAIのトラフィックを3つの動作に分類しており、各ポリシーは、その動作をする検証済みボットと、一致する未検証のボットに適用されます。

各動作は、Block、Block on pages with ads(広告のあるページでブロック)、Allow (do not block)に設定できます。Trainingにはさらに、robots.txtでクローラーに求めるだけのDisallowがあります。Bot Preference Syncをオンにすると、Cloudflareはrobots.txtの先頭に、Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot、meta-externalagentを禁止するマネージドルールを追加し、Content Signalsの行を加え、さらにエッジでもAI学習用クローラーをブロックします。ただし、検索と学習の両方に使われるクローラーは除きます。

AIからの引用を得たいほとんどのサイトにとって安全な組み合わせは、SearchとAgentをAllow、TrainingをDisallowにし、そのうえでエッジで止めたい学習専用のクローラーに、AI Crawl Controlで個別にBlockを設定することです。

CloudflareのAIクローラーの既定値はどう変わった?

2025年7月1日、Cloudflareは、AIクローラーがコンテンツ制作者に対価を払わない限りブロックする既定値に変更すると発表しました。2026年7月1日には、単一のBlock AI botsスイッチを、上で説明したSearch、Agent、Trainingの個別のポリシーに置き換え、Freeを含むすべてのプランに適用しました。同じ発表では、2026年9月15日以降に追加される新しいドメインでは、広告を表示するページでTrainingとAgentがブロックされ、Searchは許可されるとしていました。

2026年11月2日に最終更新されたCloudflareの現行のポリシーのドキュメントでは、新しいドメインの既定値は3つの動作すべてでAllow (do not block)となっています。Cloudflare自身のページが時期によって異なる既定値を説明してきたため、自分のゾーンについてはどれにも頼らず、ポリシーのページを開いて実際の設定を確認してください。

許可したのに、CloudflareがAIクローラーをブロックし続けるのはなぜ?

AI Crawl ControlのAllowアクションが止めるのは、AI Crawl Control自身によるブロックだけです。ほかの機能は引き続きリクエストに作用します。よくある原因は次のとおりです。

CloudflareがどのAIクローラーを通しているかを外部から確認するには?

同じページを、ブラウザのユーザーエージェントと、各クローラーのユーザーエージェントでリクエストし、ステータスとサイズを比べます。以下のOpenAI、Perplexity、Googleの文字列は、各社が公開しているものです。

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

クローラーの行が403、429、503を返す、あるいはブラウザの行よりサイズがはるかに小さい場合は、オリジンの手前にある何かが異なる応答をしています。FreeプランのAI Crawl Controlはユーザーエージェントでクローラーを検出するため、このテストはそのブロックを確認する方法として妥当です。検証済みボットのステータスやボットスコアに基づくルールは、あなたのリクエストを本物のクローラーとは異なる扱いにすることがあります。リクエストは運営者が公開しているIPレンジからではなく、あなたのIPアドレスから送られるからです。テストのあと、Security Analyticsで自分のリクエストを探し、どのルールに一致したかを確認してください。

AISeeWhyは、CloudflareがAIクローラーに返す内容をどう確認する?

無料のAISeeWhyチェックは、本物のブラウザと並べて、16種類のAIクローラーと検索クローラーとしてページをリクエストし、クローラーごとにrobots.txtを適用し、ファイアウォールのチャレンジページを識別します。これで、Cloudflareのダッシュボードの結果が、クローラーが実際に受け取っている内容と一致しているかを確認できます。

この問題の修正方法

無料ツール

次のステップ

この記事に登場するクローラー

よくある質問

CloudflareのAI Crawl Controlは無料?

はい。Cloudflareは、AI Crawl Controlをすべてのプランで利用できるとしています。Freeプランではユーザーエージェントだけでクローラーを検出し、Metricsには過去24時間が表示されます。参照データやカスタムのブロック応答には有料プランが必要です。

CloudflareのAI Auditはどうなった?

名前が変わりました。Cloudflareのドキュメントでは、AI Crawl Controlを旧AI Auditと説明しており、目的は同じで、どのAIクローラーが訪れているかを確認し、それぞれにアクションを設定することです。

AI Crawl Controlでクローラーをブロックすると、robots.txtは変わる?

変わりません。Blockアクションは、WAFカスタムルールを作成または更新します。robots.txtが変わるのは、Bot Preference SyncでTrainingのDisallowオプションを使った場合だけで、そのときCloudflareのマネージドルールがファイルの先頭に追加されます。

Cloudflareでは何がrobots.txt違反として数えられる?

robots.txtで禁止しているパスへのAIクローラーからのリクエストです。Cloudflareは過去のリクエストを現在のルールと照らし合わせるため、新しいルールによって、当時は許可されていた古いリクエストが違反として表示されることがあります。

pay per crawlとは?

AIクローラーにリクエストごとの支払いを求めるChargeアクションで、支払わない場合はHTTP 402と価格を返します。Cloudflareはクローズドベータと説明しており、WAFやBot Managementのブロックがこれより優先されます。

参考資料

ほかの記事