存在しないページが 404 ではなく 200 を返しています
短い答え
監査でサイト上の存在しないアドレス(/aisw-not-a-page- の後にランダムな文字列)をリクエストしたところ、404 ではなくステータス 200 の通常の HTML ページが返されました。存在しないアドレスにはステータス 404 を返すよう、サーバーまたはアプリケーションを設定してください。独自のエラーページはそのまま表示できます。
意味
存在しないアドレスをリクエストしたところ、サイトは通常のページを返しました。すると検索エンジンがエラーページを実在のページとしてインデックスしてしまいます(ソフト 404)。存在しないアドレスには 404 ステータスを返してください。
AI 検索で重要な理由
存在しないページが 200 を返すと、検索エンジンは本物のページと区別できません。エラーページがクロールされてインデックスに登録されることがあり、壊れたリンクや入力ミスのあるリンクがすべて正常なページに見え、Google はそうしたページを Search Console でソフト 404 として表示します。クローラーも、本来は除外されるはずのアドレスにリクエストを使い続けます。
ここで問題になるのはステータスコードだけです。わかりやすいエラーページは、404(または 410)で返されていれば問題ありません。存在しないアドレスをトップページなどへリダイレクトしている場合はこのチェックでは報告されませんが、検索エンジンはそうしたリダイレクトもたいていソフト 404 として扱います。
修正方法
- サイト上で存在しないアドレスを開き、ブラウザーのネットワークパネルか
curl -Iでステータスを確認します。 - 何がそのアドレスに応答しているかを調べます。よくある原因は、アプリケーションのキャッチオールルート、すべてのパスを
index.htmlに送るサーバーのルール、存在しないページにトップページを表示する CMS のプラグインです。 - 「見つからない」場合の処理でステータスを設定します。nginx では
=404で終わるtry_filesとerror_page、Apache ではローカルパスを指定したErrorDocument 404(完全な URL を指定するとリダイレクトになります)、Next.js ではnotFound()、Express ではres.status(404)を使います。 - シングルページアプリケーションでは、アプリの既知のルートにだけサーバーが
index.htmlを返し、それ以外はすべて 404 ページに送るようにします。アプリの「見つかりません」画面にnoindexタグを付けると検索エンジンには役立ちますが、ステータスは変わらないため、このチェックでは引き続き報告されます。 - アカウントからサイト監査をもう一度実行して結果を確認してください。
例
# nginx
location / {
try_files $uri $uri/ =404;
}
error_page 404 /404.html;
# Apache (.htaccess)
ErrorDocument 404 /404.html 修正の確認方法
変更後、レポートで「もう一度チェック」を押してください。修正されたものとスコアの変化が表示されます。