存在しないページが 404 ではなく 200 を返しています

短い答え

監査でサイト上の存在しないアドレス(/aisw-not-a-page- の後にランダムな文字列)をリクエストしたところ、404 ではなくステータス 200 の通常の HTML ページが返されました。存在しないアドレスにはステータス 404 を返すよう、サーバーまたはアプリケーションを設定してください。独自のエラーページはそのまま表示できます。

crawl.soft_404 · 優先度: P1〜P3(クローラーの種類による)

意味

存在しないアドレスをリクエストしたところ、サイトは通常のページを返しました。すると検索エンジンがエラーページを実在のページとしてインデックスしてしまいます(ソフト 404)。存在しないアドレスには 404 ステータスを返してください。

AI 検索で重要な理由

存在しないページが 200 を返すと、検索エンジンは本物のページと区別できません。エラーページがクロールされてインデックスに登録されることがあり、壊れたリンクや入力ミスのあるリンクがすべて正常なページに見え、Google はそうしたページを Search Console でソフト 404 として表示します。クローラーも、本来は除外されるはずのアドレスにリクエストを使い続けます。

ここで問題になるのはステータスコードだけです。わかりやすいエラーページは、404(または 410)で返されていれば問題ありません。存在しないアドレスをトップページなどへリダイレクトしている場合はこのチェックでは報告されませんが、検索エンジンはそうしたリダイレクトもたいていソフト 404 として扱います。

修正方法

  1. サイト上で存在しないアドレスを開き、ブラウザーのネットワークパネルか curl -I でステータスを確認します。
  2. 何がそのアドレスに応答しているかを調べます。よくある原因は、アプリケーションのキャッチオールルート、すべてのパスを index.html に送るサーバーのルール、存在しないページにトップページを表示する CMS のプラグインです。
  3. 「見つからない」場合の処理でステータスを設定します。nginx では =404 で終わる try_files と error_page、Apache ではローカルパスを指定した ErrorDocument 404(完全な URL を指定するとリダイレクトになります)、Next.js では notFound()、Express では res.status(404) を使います。
  4. シングルページアプリケーションでは、アプリの既知のルートにだけサーバーが index.html を返し、それ以外はすべて 404 ページに送るようにします。アプリの「見つかりません」画面に noindex タグを付けると検索エンジンには役立ちますが、ステータスは変わらないため、このチェックでは引き続き報告されます。
  5. アカウントからサイト監査をもう一度実行して結果を確認してください。

例

# nginx
location / {
    try_files $uri $uri/ =404;
}
error_page 404 /404.html;

# Apache (.htaccess)
ErrorDocument 404 /404.html

修正の確認方法

変更後、レポートで「もう一度チェック」を押してください。修正されたものとスコアの変化が表示されます。

ページをチェック →

すべての指摘とスコアの仕組み