サイトが突然AIクローラーをブロックし始めたのはなぜ?
サイトがAIクローラーをブロックし始めた場合、ほとんどは次の5か所のどこかが変わっています。実際に配信されているrobots.txt、CloudflareのAIクローラーポリシーのようなCDNの設定、ボット対策やレート制限、ホスティングの初期設定、そして今はエラーを返すようになったrobots.txtです。今日のrobots.txtと、各クローラーとして取得したページを、ブラウザや以前の状態と比べ、これらのレイヤーをこの順に確認してください。
AIの回答から消えようと決める人はいません。テーマの更新、セキュリティ設定、移行、プロバイダーの初期設定の変更の副作用として起こります。ブラウザでは今までどおりサイトが表示されるため、誰かがChatGPTやPerplexityに製品について聞いて競合が出てくるまで、変化に気づかないことがあります。どのレイヤーにも、外部から、またはログで確認できる痕跡が残ります。
このページの内容
クローラーが受け取るrobots.txtが変わった?
https://yourdomain.com/robots.txtを取得し、リポジトリやバックアップのファイルと比べます。途中で複数のレイヤーが書き換える可能性があるため、ディスク上のファイルではなく、配信されているファイルを見てください。
- デプロイで
Disallow: /入りのステージング用robots.txtが公開された、または移行でプラットフォームの初期設定がそのまま残った。 - サイトビルダーの設定がAIクローラー向けのルールを追加した。たとえばSquarespaceには「Block known artificial intelligence crawlers」というオプションがあり、26のボット名をrobots.txtに書き込み、今後追加される可能性もあるとしています。初期状態はオフなので誰かがオンにする必要がありますが、そのあとでリストが増えることがあります。
- SEOプラグインやセキュリティプラグインの更新で新しいルールが書き込まれた、または新しいオプションが追加され、誰かがそれをオンにした。
- Bot Preference Syncがオンで、AIポリシーがBlockまたはDisallowに設定されていると、Cloudflareはマネージドrobots.txtをファイルの先頭に追加します。すると、自分のファイルは変わっていないのに、配信されるファイルの先頭に
ClaudeBot、GPTBotほか6つの学習用トークンに対するDisallow: /が入ります。 - 学習用クローラー向けのルールが、
OAI-SearchBot、Claude-SearchBot、PerplexityBotなどの検索クローラーを含むほかのクローラーにもコピーされた。
Google Search Consoleのrobots.txtレポートには、過去30日間にGoogleが取得したバージョンが表示され、ファイルや取得結果が変わるたびに新しいエントリが追加されます。Googleが見たものだけですが、サーバーがユーザーエージェントによってrobots.txtを変えていない限り、AIクローラーも同じファイルを受け取っています。
Cloudflareの2026年のAIクローラーポリシーで、サイトの許可内容が変わった?
CloudflareはAIクローラーの制御を何度も変更しており、なかには誰も編集しなくてもゾーンの動作を変えるものもあります。2025年7月1日からは新しいドメインの登録時にAIクローラーを許可するかを尋ねるようになり、初期状態はブロックでした。2026年7月1日には、Freeを含むすべてのプランで、単一の「Block AI bots」スイッチを、Search、Agent、Trainingの個別のポリシーに置き換えました。
多くのサイトが引っかかるのは、複数の目的を持つクローラーです。Cloudflareのドキュメントによると、Trainingのアクションは検索と学習の両方に使われるクローラーにも適用されます。2026年7月の発表では、2026年9月15日から、新しいオプションでも従来の「Block AI bots」設定でもTrainingのブロックを選んだ顧客に対して、Googlebot、Applebot、BingBotなどの多目的クローラーがブロックされるとしていました。そのため、1年前に設定した学習のオプトアウトが、今では検索クローラーにまで及ぶことがあります。
新しいドメインの初期設定は、時期によって異なる説明がされています。同じ発表では、2026年9月15日から新しいドメインでは広告を表示するページでTrainingとAgentがブロックされるとしていましたが、2026年11月2日に更新されたポリシーのドキュメントでは、新しいドメインは3つともAllowで始まるとしています。[Security]>[Settings]を開き、Bot trafficで絞り込んで、自分のゾーンの「AI Crawler and Agent access policies」を確認してください。各設定は、Cloudflare AI Crawl Controlのガイドで解説しています。
ボット対策やレート制限がクローラーを止めている?
ボット対策はリクエストごとに判定し、クローラーはデータセンターから多数のページを素早く取得します。これはまさにボットの振る舞いです。先月は通れたクローラーでも、運営者がIP範囲やクロール頻度を変えたり、保護ルールが更新されたりすると、チャレンジページを受け取り始めることがあります。よくある原因はCloudflareのBot Fight Modeで、CloudflareはこれをWAFのカスタムルールやPage Rulesで回避・スキップできないとしているため、オンのままでは後から許可ルールを追加しても効きません。集中したリクエストに429を返す新しいレート制限も、活発なクローラーに同じ影響を与えます。
外部からテストします。ブラウザと2つのAI検索クローラーとしてページをリクエストし、次にクローラーとしてrobots.txtをリクエストします。
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt クローラーだけに403、429、503が返る、Just a moment...というタイトルのページが返る、本文がブラウザよりずっと小さい、のいずれかなら、クローラーは別扱いされています。テストはベンダーではなく自分のIPから送られるため、検証済みボットかどうかに基づくルールは、本物のクローラーを別扱いしている可能性があります。どのルールが応答したかはファイアウォールのイベントログでわかります。
ホスティング会社が初期設定を変えた?
ホスティング会社のなかには、自分のルールが動く前に、サーバー側でAIトラフィックを絞り込むところもあります。たとえばSiteGroundは2025年8月に、学習データの収集を目的とするAIクローラーをデフォルトでブロックし、人がAIアシスタントにページについて尋ねたときに訪れるクローラーは許可していると書いています。こうしたルールはrobots.txtには表れず、ホスティング会社がボットのリストを更新すると変わることがあります。
同じホスティング会社の複数のサイトで同時にブロックが現れた場合や、アプリケーションのログに届かないレスポンスで起きている場合は、アカウントにどのボットのルールが適用されているか、残したいクローラーを除外できるかをホスティング会社に問い合わせてください。
robots.txtがエラーを返している?
失敗するrobots.txtは、どのDisallow行よりも多くをブロックすることがあります。RFC 9309では、4xxのレスポンスならクローラーはすべてを取得してよいとされていますが、サーバーエラー(5xx)や応答がまったくない場合は、サイト全体が禁止されているとみなさなければなりません。Googleは、こうしたエラーの最初の12時間はクロールを止め、その後は最大30日間、最後に正常に取得したコピーを使います。
こうして、負荷の急増、/robots.txtにチャレンジをかけるファイアウォールルール、robots.txtも対象に含むレート制限によって、ルールを1つも変えていないのに、マナーを守るクローラーが締め出されることがあります。上のテストの最後のコマンドは200とtext/plainを返すはずです。ここで5xx、タイムアウト、チャレンジページが返るなら、それが最初に直すべき点です。
いつから始まったかを調べるには?
日付がわかれば、謎は差分の問題に変わります。アクセスログでAIクローラーのユーザーエージェントからのリクエストを絞り込み、ステータスコードが200から403、429、503に変わった日や、robots.txtを読んだあとにページをリクエストしなくなった日を探します。コマンドは、AIクローラーのサーバーログを確認するガイドに載っています。CDNがブロックしたリクエストはオリジンに届かないため、CDNも確認してください。Cloudflareでは、AI Crawl Controlにステータスコードの分布の推移が表示され、クローラーで絞り込めます。
次に、その日付を、デプロイ、プラグインやテーマの更新、CDNの設定変更、プロバイダーの発表と照らし合わせます。対処する前に、アクセス元IPがベンダーのものであることを確認し、名前を騙る偽物ではなく本物のクローラーを見ていることを確かめてください。
次回もっと早く気づくには?
トラフィックが落ちたときだけでなく、デプロイ、CDNの変更、プラグインの更新のたびにアクセスを確認します。無料のAISeeWhyチェックは、本物のブラウザと並べて16種類のAIクローラーと検索クローラーとしてページを取得し、クローラーごとにrobots.txtを適用し、ファイアウォールのチャレンジページを識別します。無料のrobots.txtテスターは、今日公開されているファイルのもとでページを取得してよいかを、クローラーごとに表示します。
次のステップ
この記事に登場するクローラー
よくある質問
ChatGPTに自社サイトが表示されなくなったのはなぜ?
多くの場合、ChatGPT検索を支えるクローラーであるOAI-SearchBotが、robots.txtの変更、CDNのポリシー、ボット対策によってブロックされるようになったためです。OpenAIによると、これをブロックしているサイトはChatGPT検索の回答に表示されません。そのクローラーについて各レイヤーを確認し、robots.txtを直したあとは、OpenAIがシステムの調整にかかるとしている約24時間待ってください。
CloudflareがサイトでGooglebotをブロックし始めた?
ありえます。Cloudflareは、2026年9月15日からTrainingをブロックする顧客はGooglebot、Applebot、BingBotなどの多目的クローラーもブロックすることになるとしていました。ドキュメントによると、TrainingのDisallowオプションはエッジで学習用クローラーをブロックしますが、複数用途のクローラーは対象外です。自分のゾーンでどのオプションを使っているかを確認してください。
サイトビルダーやプラグインがrobots.txtを勝手に変えることはある?
あります。サイトビルダーやSEO・セキュリティ系のプラグインはrobots.txtにAIクローラーのルールを書き込むことがあり、ボットのリストを徐々に増やすものもあります。更新のたびに公開中のファイルを取得し、重視している検索クローラーに適用されるグループを読んでください。
公開中のrobots.txtがサーバー上のファイルと違うのはなぜ?
サーバーの前段にある何かが書き換えています。たとえばCloudflareのマネージドrobots.txtは、同じレスポンスの中で独自のルールとコンテンツシグナルをファイルの先頭に追加します。リクエストのたびにrobots.txtを生成するCMSや、ホスティング側の設定が、ファイルを置き換えたり追記したりすることもあります。
修正してからAIクローラーが戻るまでの時間は?
RFC 9309では、クローラーはキャッシュしたrobots.txtを24時間を超えて使うべきではないとされています。OpenAIは約24時間、Perplexityは最大24時間としています。ファイアウォールの変更はプロバイダーが反映した時点で有効になりますが、クローラーが戻ってくるのはそれぞれのスケジュールしだいです。
参考資料
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers