AISeeWhy 소개
AISeeWhy는 AI 크롤러와 AI 검색 엔진이 웹 페이지를 읽을 수 있는지 테스트하는 독립 웹 서비스입니다. 실제 브라우저와 나란히 16개의 AI 및 검색 크롤러로 페이지를 가져와 무엇이 크롤러를 막는지와 해결 방법을 보여 주며, 페이지를 다시 점검하고 모니터링할 수도 있습니다.
만든 이유
회사가 ChatGPT나 Perplexity가 왜 자사가 아닌 경쟁사를 인용하는지 물을 때, 답은 기술적이고 검증 가능한 경우가 많습니다. 방화벽이 크롤러에 챌린지 페이지로 응답하거나, robots.txt 규칙이 크롤러를 막거나, 텍스트가 JavaScript 실행 후에야 나타나는 경우입니다. 이런 문제는 일반 브라우저에서는 보이지 않습니다. AISeeWhy는 이를 근거와 함께 보이게 합니다.
점검 방식
각 크롤러의 공개된 user agent로 페이지를 요청하고 그 응답을 실제 브라우저의 응답과 비교합니다. robots.txt는 RFC 9309가 설명하는 방식으로 읽고, 주요 방화벽과 봇 방어 서비스를 인식하며, 구조화 데이터, 답변 우선 콘텐츠, 최신성, hreflang, llms.txt를 점검합니다. 모든 규칙과 점수 공식은 방법론 페이지에 공개되어 있습니다.
하지 않는 일
사이트, 코드, 설정을 바꾸지 않습니다. 점검은 저희 서버에서 이루어지므로 실제 크롤러를 IP 주소로 신뢰하는 방화벽은 저희 요청을 다르게 처리할 수 있습니다. 접근 로그를 업로드하면 실제 크롤러의 방문을 확인할 수 있습니다. 어떤 AI 제품이 페이지를 인용할 것이라고 약속하지 않습니다. 저희는 사이트 소유자가 통제할 수 있는 부분인 접근을 점검하고 고치는 일을 돕습니다.
데이터와 개인정보
점검 시 입력한 주소와 리포트가 저장됩니다. 계정은 비밀번호 없이 일회용 이메일 코드를 사용합니다. 결제는 판매 대행사인 Paddle이 처리합니다. 자세한 내용은 개인정보 처리방침 페이지에 있습니다.
문의
제품, 요금제, 데이터에 관한 문의는 support@aiseewhy.com으로 보내 주세요. 모든 메시지에 답변드립니다.