개발자를 위한 AI 크롤러 점검
사이트를 AI 검색에서 숨기는 robots.txt 규칙, 방화벽 설정, 클라이언트 렌더링 페이지를 프로덕션에 반영되기 전에 잡아내세요.
GitHub Action
풀 리퀘스트마다 미리보기 배포를 점검하고, AI 크롤러가 차단되거나 점수가 떨어지면 빌드를 실패 처리합니다.
REST API
URL을 보내면 점수, 발견 사항, 증거, 수정 사항이 담긴 JSON을 받습니다. 사이트맵 배치는 최대 50개 URL을 처리합니다.
MCP 서버
Claude Code, Codex, Cursor 또는 모든 MCP 클라이언트를 연결하면 에이전트가 페이지를 대신 감사하고, 비교하고, 지켜봅니다.
JavaScript 없이 본 내 페이지
서버가 보내는 HTML에서 크롤러가 받는 텍스트와 제목을 브라우저 화면과 나란히 확인하세요.