존재하지 않는 페이지가 404 대신 200을 반환합니다

짧은 답변

감사에서 사이트의 존재하지 않는 주소(/aisw-not-a-page- 뒤에 임의의 문자)를 요청했더니 404가 아니라 상태 코드 200의 일반 HTML 페이지가 돌아왔습니다. 존재하지 않는 주소에는 서버나 애플리케이션이 상태 코드 404로 응답하게 하세요. 화면에는 여전히 직접 만든 오류 페이지를 보여 줄 수 있습니다.

crawl.soft_404 · 우선순위: P1–P3, 크롤러 유형에 따라

의미

임의로 만든 주소를 요청했더니 사이트가 일반 페이지로 응답했습니다. 그러면 검색엔진이 오류 페이지를 실제 페이지로 색인합니다(소프트 404). 없는 주소에는 404 상태로 응답하세요.

AI 검색에서 중요한 이유

없는 페이지가 200으로 응답하면 검색 엔진은 그것을 실제 페이지와 구별할 수 없습니다. 오류 페이지가 크롤링되고 색인될 수 있고, 깨지거나 잘못 입력된 링크가 모두 정상 페이지처럼 보이며, Google은 이런 페이지를 Search Console에서 소프트 404로 표시합니다. 크롤러도 진작 제외되었어야 할 주소에 계속 요청을 씁니다.

여기서 중요한 것은 상태 코드뿐입니다. 친절한 오류 페이지는 404(또는 410)로 보내기만 하면 괜찮습니다. 존재하지 않는 주소를 홈페이지 등으로 리디렉션하는 경우는 이 점검에서 보고하지 않지만, 검색 엔진은 대개 이런 리디렉션도 소프트 404로 취급합니다.

수정 방법

  1. 사이트에서 존재하지 않는 주소를 열고, 브라우저의 네트워크 패널이나 curl -I로 상태 코드를 확인합니다.
  2. 무엇이 그 주소에 응답하는지 찾습니다. 흔한 원인은 애플리케이션의 catch-all 라우트, 모든 경로를 index.html로 보내는 서버 규칙, 없는 페이지에 홈페이지를 보여 주는 CMS 플러그인입니다.
  3. 페이지를 찾지 못했을 때의 처리에서 상태 코드를 설정합니다. nginx에서는 =404로 끝나는 try_files와 error_page, Apache에서는 로컬 경로를 지정한 ErrorDocument 404(전체 URL을 쓰면 리디렉션이 됩니다), Next.js에서는 notFound(), Express에서는 res.status(404)를 사용합니다.
  4. 단일 페이지 앱에서는 서버가 앱이 아는 라우트에만 index.html로 응답하고 나머지는 모두 404 페이지로 보내게 합니다. 앱의 "찾을 수 없음" 화면에 noindex 태그를 붙이면 검색 엔진에는 도움이 되지만 상태 코드는 바뀌지 않으므로, 점검에서는 계속 보고됩니다.
  5. 계정에서 사이트 감사를 다시 실행해 결과를 확인합니다.

예시

# nginx
location / {
    try_files $uri $uri/ =404;
}
error_page 404 /404.html;

# Apache (.htaccess)
ErrorDocument 404 /404.html

수정 확인 방법

변경한 뒤 리포트에서 "다시 점검"을 누르세요. 무엇이 수정되었고 점수가 어떻게 바뀌었는지 보여 줍니다.

내 페이지 점검 →

모든 발견 사항과 점수 산정 방식