사이트맵을 가져올 수 없습니다(상태 403)

짧은 답변

사이트맵이 선언되었거나 있어야 하지만 오류, 401, 403, 429, 5xx 상태로 가져오지 못했으므로 크롤러도 읽지 못할 수 있습니다. 점검은 브라우저로 가져옵니다. 사이트맵 URL을 공개하고 봇 챌린지와 요청 제한에서 제외하세요.

sitemap.unreachable · 우선순위: P2

의미

사이트맵을 찾았지만 상태 403(으)로 응답했거나 응답하지 않아 크롤러도 사용하지 못할 수 있습니다. 방화벽이 크롤러의 접근을 허용하는지 확인하세요.

AI 검색에서 중요한 이유

403이나 서버 오류를 반환하는 사이트맵은 없는 것이나 마찬가지입니다. 크롤러는 새 페이지나 바뀐 페이지를 알 수 없습니다. 사이트맵 요청은 거의 전부 크롤러에서 오는데 봇 방어 규칙은 바로 크롤러를 막도록 만들어져 있으므로, 봇 방어가 흔한 원인입니다.

요청마다 생성되는 큰 사이트맵은 시간 초과되거나 서버 한도에 걸릴 수도 있으며, 이는 5xx 상태로 나타납니다. 점검이 파일을 브라우저로 가져오므로 여기서 실패하면 보통 크롤러도 거부되고 있는 것입니다.

수정 방법

  1. 리포트의 사이트맵 URL을 열어 상태를 확인합니다. AISeeWhy 리포트에서 근거와 바로 붙여 넣을 수 있는 수정안을 확인하고, 이후 "다시 점검"을 실행해 결과를 확인합니다.
  2. CDN이나 WAF에서 사이트맵 경로(예: /sitemap*.xml)를 챌린지, Bot Fight Mode, 요청 제한에서 제외합니다.
  3. 스테이징 같은 구성에서 인증 뒤에 있다면 프로덕션 호스트에서는 공개로 바꿉니다.
  4. 5xx 오류라면 생성된 사이트맵을 캐시하거나 정적 파일로 미리 빌드하고, 매우 큰 사이트맵은 사이트맵 인덱스로 나눕니다.

수정 확인 방법

변경한 뒤 리포트에서 "다시 점검"을 누르세요. 무엇이 수정되었고 점수가 어떻게 바뀌었는지 보여 줍니다.

내 페이지 점검 →

모든 발견 사항과 점수 산정 방식