AI 크롤러 모니터링
방화벽 규칙, CDN 설정, 새 robots.txt 하나로 AI 크롤러가 하룻밤 새 막힐 수 있지만, 사람이 보기에는 사이트에 아무 문제가 없어 보입니다. 모니터링은 중요한 페이지를 다시 점검하고 새로운 무언가가 페이지를 막으면 이메일로 알려 드립니다.
무료 · 가입 불필요 · 30초 만에 결과
이 글은 영어 원문을 기계 번역한 것입니다.
모니터링이 점검하는 내용
매번 실행되는 점검은 홈페이지의 무료 점검과 같습니다. 16개의 AI·검색 크롤러, curl, 데스크톱 브라우저로 각각 공개된 사용자 에이전트를 써서 페이지를 가져옵니다. 크롤러 토큰마다 robots.txt를 평가하고, 페이지의 구조화 데이터, 콘텐츠, 날짜, 사이트맵, hreflang, llms.txt를 점검합니다. 결과는 0~100점의 점수와 P1~P3 우선순위가 붙은 발견 사항 목록입니다.
이메일을 받는 경우
모니터링하는 페이지는 선택에 따라 매일 또는 매주 다시 점검됩니다. 예를 들어 크롤러가 이제 403이나 챌린지 페이지를 받는 등 새로운 차단 문제가 생기거나, 점수가 10점 이상 떨어지면 이메일을 받습니다. 이메일에는 무엇이 바뀌었는지 적혀 있고, 수정안이 담긴 보고서로 연결됩니다.
볼 수 없는 것
요청은 크롤러 운영사의 IP 주소가 아니라 각 크롤러의 사용자 에이전트를 단 우리 서버에서 보냅니다. IP로 진짜 크롤러를 신뢰하는 방화벽은 우리와 다르게 처리할 수 있으며, 차단 관련 발견 사항마다 이를 밝힙니다. 실제 크롤러가 어떤 응답을 받았는지 보려면 유료 플랜의 서버 로그 점검이 접근 로그를 읽어 AI 크롤러별 방문과 상태 코드를 집계합니다.
모니터링이 포함된 플랜
- Pro, 월 $22: 모니터링 페이지 3개, 개인 비상업 사이트용.
- Business, 월 $88: 모니터링 페이지 25개, 회사 사이트와 클라이언트 작업용.
- Agency, 월 $288: 여러 클라이언트 사이트를 위한 모니터링 페이지 60개.
- Enterprise, 월 $888: 모니터링 페이지 100개.
무료 플랜에는 모니터링이 없으며, 하루 한 번 점수와 첫 번째 발견 사항을 보여 주는 점검을 제공합니다. 플랜은 매월 청구되고 언제든 해지할 수 있으며, 모든 결제는 14일 이내에 전액 환불받을 수 있습니다.
시작하는 방법
- 가장 중요한 페이지에서 무료 점검을 실행하고 첫 번째 발견 사항을 확인하세요.
- 가격 페이지에서 플랜을 고르고 이메일로 로그인하세요.
- 계정의 모니터링에서 지켜볼 페이지를 추가하세요. 홈페이지, 가격, 주요 제품·서비스 페이지, 핵심 글이 좋습니다.
- 매일 또는 매주를 고르세요. 수정한 뒤에는 페이지를 다시 점검해 전후 점수를 확인하세요.
자주 묻는 질문
어떤 변화가 알림을 보내나요?
모니터링하는 페이지에 새로운 차단 문제가 생겼을 때(예: 크롤러가 이제 거부됨), 또는 이전 점검보다 점수가 10점 이상 떨어졌을 때입니다.
모니터링은 진짜 GPTBot이나 ClaudeBot을 사용하나요?
아닙니다. 우리 서버에서 이들의 공개 사용자 에이전트를 보냅니다. 이를 통해 방화벽과 서버가 그 사용자 에이전트를 어떻게 처리하는지 알 수 있으며, 실제 방문은 서버 로그 점검에서 볼 수 있습니다.
클라이언트 사이트를 모니터링할 수 있나요?
네, Business, Agency, Enterprise에서 가능합니다. Pro는 개인 비상업적 용도입니다.
결제하기 전에 써 볼 수 있나요?
무료 점검으로 어떤 페이지든 한 번 실행했을 때 무엇을 찾는지 볼 수 있습니다. 모니터링 자체에는 유료 플랜이 필요하며, 언제든 해지할 수 있고 14일 이내에 환불받을 수 있습니다.