페이지 2개가 크롤링을 거부했습니다

짧은 답변

감사가 브라우저처럼 이 페이지들을 가져왔을 때 401, 403, 429, 503으로 응답하거나 시간이 초과되었습니다. 페이지가 깨졌다기보다 방화벽, 봇 보호, 요청 속도 제한 때문인 경우가 많습니다. 검색 크롤러와 AI 크롤러도 같은 응답을 받는지 확인하세요.

crawl.unreachable · 우선순위: P1–P3, 크롤러 유형에 따라

의미

이 페이지들은 401, 403, 429 또는 503으로 응답했거나 시간이 초과되었습니다. 방화벽이나 요청 속도 제한이 크롤러도 막고 있을 수 있습니다. 검색 크롤러와 AI 크롤러가 같은 응답을 받는지 확인하세요.

AI 검색에서 중요한 이유

감사는 한 서버에서 짧은 시간에 많은 페이지를 가져오므로, 사람은 페이지를 볼 수 있어도 요청 속도 제한이 429나 503으로 응답할 수 있습니다. 같은 규칙이 검색 크롤러와 AI 크롤러에도 적용된다면, 이 페이지들은 그들의 색인용으로 수집되지 않고 AI 답변에 인용될 수도 없습니다.

401은 페이지에 로그인이 필요하다는 뜻으로, 계정 영역에서는 당연하지만 공개 콘텐츠에서는 아닙니다. 모든 페이지가 503이라면 유지 관리 모드가 켜진 채로 남아 있을 수 있습니다. 해결 방법이 누가 거부되는지에 따라 달라지므로 이 페이지들은 깨진 링크와 따로 다룹니다.

수정 방법

  1. 나열된 URL 몇 개를 브라우저의 비공개 창에서 엽니다. 로드된다면 차단 대상은 자동화된 요청입니다.
  2. 방화벽, CDN, 호스팅 로그에서 거부된 요청을 찾습니다. Googlebot과 Bingbot 같은 확인된 검색 크롤러와 원하는 AI 검색 크롤러가 허용되어 있는지 확인합니다. Cloudflare를 비롯한 많은 CDN에 확인된 봇을 위한 설정이 있습니다.
  3. 요청 속도 제한이 원인이라면 일반 페이지 요청에 대한 한도를 올리거나 HTML 페이지를 제한 대상에서 뺍니다.
  4. 페이지가 401로 응답한다면 공개 페이지에서 로그인을 없애거나, 공개 페이지에서 비공개 페이지로 링크하지 않도록 합니다.
  5. 계정에서 사이트 감사를 다시 실행해 결과를 확인합니다.

수정 확인 방법

변경한 뒤 리포트에서 "다시 점검"을 누르세요. 무엇이 수정되었고 점수가 어떻게 바뀌었는지 보여 줍니다.

내 페이지 점검 →

모든 발견 사항과 점수 산정 방식