AI 크롤러용 robots.txt 생성기
사이트를 읽을 수 있는 AI 크롤러를 선택하고 생성된 robots.txt를 복사하세요. 흔한 선택은 GPTBot, ClaudeBot 같은 AI 학습 크롤러는 차단하고 OAI-SearchBot, PerplexityBot 같은 AI 검색 크롤러는 허용하는 것입니다. 그러면 페이지가 AI 답변에 계속 나타나고 인용될 수 있습니다.
사용자 요청 수집기를 차단하는 효과는 제한적입니다. 일부 벤더는 사람이 페이지를 요청한 것이므로 이런 에이전트가 robots.txt를 따르지 않을 수 있다고 밝힙니다. 게시하기 전에 robots.txt 검사기로 결과를 테스트하세요. AI 크롤러용 robots.txt 검사기 →
사용 방법
파일을 도메인 루트(https://example.com/robots.txt)에 두세요. 다른 크롤러에 대한 규칙이 이미 있다면 그대로 두고 AI 그룹만 추가하세요. 변경 사항은 각 크롤러가 다음에 파일을 읽을 때 적용되며, 보통 하루 안에 반영됩니다.