2 ページがクロールを拒否しました

短い答え

監査がブラウザーとしてこれらのページを取得したとき、401、403、429、503 が返るか、タイムアウトしました。ページが壊れているのではなく、ファイアウォール、ボット対策、レート制限が原因であることがよくあります。検索クローラーや AI クローラーにも同じ応答が返っていないか確認してください。

crawl.unreachable · 優先度: P1〜P3(クローラーの種類による)

意味

これらのページは 401、403、429、503 のいずれかを返したか、タイムアウトしました。ファイアウォールやレート制限がクローラーも止めている可能性があります。検索クローラーと AI クローラーが同じ応答を受け取っているか確認してください。

AI 検索で重要な理由

監査は 1 台のサーバーから短時間に多くのページを取得するため、人がページを見られる場合でも、レート制限が 429 や 503 を返すことがあります。同じルールが検索クローラーや AI クローラーにも適用されていれば、これらのページはそのインデックス用に取得されず、AI の回答で引用されることもありません。

401 はページにログインが必要という意味で、アカウント関連のページなら当然ですが、公開コンテンツでは問題です。すべてのページで 503 が返る場合は、メンテナンスモードがオンのままになっているのかもしれません。修正方法が拒否されている相手によって変わるため、これらのページはリンク切れとは分けて扱っています。

修正方法

  1. 一覧の URL をいくつかブラウザーのプライベートウィンドウで開きます。読み込める場合、ブロックは自動化されたリクエストを対象にしています。
  2. ファイアウォール、CDN、ホスティングのログで拒否されたリクエストを探します。Googlebot や Bingbot などの検証済み検索クローラーと、受け入れたい AI 検索クローラーが許可されていることを確認します。Cloudflare をはじめ、多くの CDN には検証済みボット向けの設定があります。
  3. レート制限が原因の場合は、通常のページリクエストに対する上限を上げるか、HTML ページを対象から外します。
  4. ページが 401 を返す場合は、公開ページからログインを外すか、公開ページから非公開ページへのリンクをやめます。
  5. アカウントからサイト監査をもう一度実行して結果を確認してください。

修正の確認方法

変更後、レポートで「もう一度チェック」を押してください。修正されたものとスコアの変化が表示されます。

ページをチェック →

すべての指摘とスコアの仕組み