AI 크롤러용 robots.txt 검사기

페이지 주소를 입력하면 사이트의 robots.txt를 읽고, 각 AI·검색 크롤러가 해당 페이지를 가져갈 수 있는지 보여 줍니다. 또는 robots.txt를 붙여 넣어 게시하기 전에 테스트할 수 있습니다.

robots.txt는 요청일 뿐입니다. robots.txt가 허용한 크롤러도 방화벽이나 봇 차단 기능에 막힐 수 있으며, 전체 점검에서 이를 테스트합니다. 전체 점검 실행 →

AI 크롤러가 robots.txt를 읽는 방식

각 크롤러는 자신의 토큰(예: GPTBot 또는 PerplexityBot)을 지정한 그룹을 따르고, 그런 그룹이 없을 때만 User-agent: *를 따릅니다. 그룹 안에서는 가장 길게 일치하는 규칙이 우선하며, 길이가 같으면 Allow가 우선합니다. GPTBot, ClaudeBot, Google-Extended 같은 학습용 크롤러를 차단하면 콘텐츠가 모델 학습에 쓰이지 않고, OAI-SearchBot, ChatGPT-User, PerplexityBot 같은 검색·사용자 크롤러를 차단하면 페이지가 AI 답변에 나타나지 않습니다.