사이트맵을 가져올 수 없습니다(상태 403)
짧은 답변
사이트맵이 선언되었거나 있어야 하지만 오류, 401, 403, 429, 5xx 상태로 가져오지 못했으므로 크롤러도 읽지 못할 수 있습니다. 점검은 브라우저로 가져옵니다. 사이트맵 URL을 공개하고 봇 챌린지와 요청 제한에서 제외하세요.
의미
사이트맵을 찾았지만 상태 403(으)로 응답했거나 응답하지 않아 크롤러도 사용하지 못할 수 있습니다. 방화벽이 크롤러의 접근을 허용하는지 확인하세요.
AI 검색에서 중요한 이유
403이나 서버 오류를 반환하는 사이트맵은 없는 것이나 마찬가지입니다. 크롤러는 새 페이지나 바뀐 페이지를 알 수 없습니다. 사이트맵 요청은 거의 전부 크롤러에서 오는데 봇 방어 규칙은 바로 크롤러를 막도록 만들어져 있으므로, 봇 방어가 흔한 원인입니다.
요청마다 생성되는 큰 사이트맵은 시간 초과되거나 서버 한도에 걸릴 수도 있으며, 이는 5xx 상태로 나타납니다. 점검이 파일을 브라우저로 가져오므로 여기서 실패하면 보통 크롤러도 거부되고 있는 것입니다.
수정 방법
- 리포트의 사이트맵 URL을 열어 상태를 확인합니다. AISeeWhy 리포트에서 근거와 바로 붙여 넣을 수 있는 수정안을 확인하고, 이후 "다시 점검"을 실행해 결과를 확인합니다.
- CDN이나 WAF에서 사이트맵 경로(예:
/sitemap*.xml)를 챌린지, Bot Fight Mode, 요청 제한에서 제외합니다. - 스테이징 같은 구성에서 인증 뒤에 있다면 프로덕션 호스트에서는 공개로 바꿉니다.
- 5xx 오류라면 생성된 사이트맵을 캐시하거나 정적 파일로 미리 빌드하고, 매우 큰 사이트맵은 사이트맵 인덱스로 나눕니다.
수정 확인 방법
변경한 뒤 리포트에서 "다시 점검"을 누르세요. 무엇이 수정되었고 점수가 어떻게 바뀌었는지 보여 줍니다.