開始ページをクロールできませんでした (403)

短い答え

サイト監査を開始できませんでした。開始ページが 200 を返さなかったか、タイムアウト、DNS や接続のエラー、リダイレクトの回数超過などでリクエストが失敗しました。リダイレクトはたどるため、最終的な応答だけが対象です。開始ページがないとたどるリンクがないため、ほかには何もチェックされていません。

crawl.start_failed · 優先度: P1

意味

開始ページが正常な HTML ページを返さなかったため、リンクをたどれませんでした。URL と、サイトが稼働しているかを確認してください。

AI 検索で重要な理由

監査はブラウザーと同じように開始ページから内部リンクを外側へたどるため、そのページが読み込める必要があります。失敗する場合はたいてい、URL が間違っている、サイトがダウンしている、またはファイアウォール、ボット対策、レート制限が監査のサーバーにブロックやチャレンジで応答した、のいずれかです。

ファイアウォールが監査をブロックしている場合、データセンターのアドレスから来る検索クローラーや AI クローラーもブロックしている可能性があります。指摘のステータスとブラウザーで見た結果を比べ、ファイアウォールのログでそのリクエストを探してください。

修正方法

  1. 開始 URL をブラウザーのプライベートウィンドウで開き、ログインなしで読み込めることを確認します。
  2. https:// と正しいホストを含む、サイトが実際に配信しているアドレスを使います。
  3. ステータスが 403、429、503 の場合は、ファイアウォール、CDN、ホスティングのボット対策のログでブロックされたリクエストを見つけて許可するか、通常のページリクエストに対するチャレンジのレベルを下げます。
  4. リクエストがタイムアウトした場合は、サーバーの負荷と、自社ネットワークの外からページがどれくらい速く応答するかを確認します。
  5. アカウントからサイト監査をもう一度実行して結果を確認してください。

修正の確認方法

変更後、レポートで「もう一度チェック」を押してください。修正されたものとスコアの変化が表示されます。

ページをチェック →

すべての指摘とスコアの仕組み