AI가 내 사이트를 못 보는
이유, 알려 드립니다.

점검하는 AI 제품

AI 제품마다 자체 크롤러로 웹을 읽습니다. 각 크롤러로서 페이지를 가져와 크롤러별로 무엇을 받는지 보여 드립니다.

리포트 예시

예시 페이지: 검색 크롤러 하나는 방화벽에 차단되고, 학습 크롤러 하나는 정책으로 금지되며, 두 점검은 손볼 곳이 있습니다.

점수 계산 방식

점수는 100점에서 시작합니다. P1 항목은 하나당 15점, P2는 6점, P3는 2점이 깎이며 최저는 0점입니다. P1 항목이 없고 점수가 70점 이상이면 AI에게 보이는 페이지로 판단합니다. 모든 항목에 증거가 함께 제공되므로 이유를 정확히 확인할 수 있습니다.

자주 묻는 질문

AI 검색에서 내 페이지가 보이지 않는 이유는 무엇인가요?

가장 흔한 원인은 방화벽이나 봇 차단 기능이 사람에게는 페이지를 보여 주면서 AI 크롤러에는 확인(챌린지) 페이지나 403을 반환하는 경우입니다. 그 밖에 robots.txt 규칙, JavaScript가 실행된 뒤에만 나타나는 콘텐츠, 로그인 페이지로의 리디렉션 등이 원인일 수 있습니다. 이 점검은 각 크롤러와 브라우저로 페이지를 가져와 어느 쪽이 다른지 보여 줍니다.

GPTBot 같은 학습용 크롤러를 차단하는 것은 실수인가요?

아닙니다. GPTBot, ClaudeBot, CCBot 같은 학습용 크롤러는 모델 학습을 위해 데이터를 수집하며, 이를 차단하는 것은 정책상의 선택이므로 보고서에서는 P3로 표시합니다. OAI-SearchBot, Claude-SearchBot, Perplexity-User 같은 검색 및 사용자 요청 크롤러는 답변에서 내 사이트가 인용될 수 있는지를 좌우하므로, 이를 차단하면 P1입니다.

이 결과가 실제 크롤러가 받는 내용을 증명하나요?

완전히 그렇지는 않습니다. 요청은 각 크롤러의 User-Agent를 사용해 저희 서버에서 보내며, 제공사가 공개한 검증된 IP 대역에서 보내는 것이 아닙니다. 결과는 방화벽이 해당 User-Agent를 어떻게 처리하는지 보여 줍니다. IP로 크롤러를 검증하는 방화벽은 실제 크롤러를 통과시킬 수 있으며, 모든 차단 항목에 이 점을 안내합니다.

점검 비용은 얼마인가요?

하루 한 번의 점검은 무료이며 점수와 첫 번째 발견 사항을 보여 줍니다. 신용카드 없이 시작하는 7일 무료 체험으로 모든 발견 사항과 해결 방법, 기록, API 키를 이용할 수 있습니다. 이후 Pro는 월 $19입니다. 대량 점검은 같은 감사를 사이트맵으로 URL당 요금에 실행하세요.