robots.txt를 바꾸셨나요? 각 AI 크롤러가 어떻게 읽는지 확인하세요
AI 학습만 막으려 했는데, 잘못된 그룹에 들어간 한 줄 때문에 ChatGPT 검색까지 막힐 수 있습니다. 16개 크롤러에 대한 결과를 점검하세요.
무료 · 가입 불필요 · 30초 만에 결과
어떤 그룹이 적용되나
크롤러는 * 그룹이 아니라 자신의 이름이 적힌 그룹을 따릅니다. 많은 사이트 운영자가 이 점에 놀랍니다.
검색과 학습의 구분
원하면 학습용 크롤러는 막고, AI 검색 답변에 사이트를 노출해 주는 크롤러는 유지할 수 있습니다.
정확한 수정안
바로 붙여 넣을 수 있는 변경할 줄과, 확인을 위한 재점검.