GPTBot
OpenAI · AI 학습
GPTBot은 OpenAI의 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집하는 OpenAI의 크롤러입니다. robots.txt에서 허용하지 않으면 OpenAI에 내 콘텐츠를 학습에 쓰지 말라고 알리는 것입니다. 차단해도 ChatGPT 검색 답변에서 빠지지 않습니다. 검색 답변은 OAI-SearchBot에 달려 있습니다.
하는 일
OpenAI는 GPTBot이 생성형 AI 기반 모델을 더 유용하고 안전하게 만드는 데 쓰인다고 밝힙니다. 이 모델의 학습에 쓰일 수 있는 콘텐츠를 수집하며, GPTBot을 허용하지 않으면 사이트 콘텐츠를 학습에 쓰지 말아야 한다는 뜻이 됩니다.
허용 여부는 가시성이 아니라 정책의 문제입니다. ChatGPT 검색은 별도의 크롤러인 OAI-SearchBot을 사용하며, OpenAI는 두 설정이 서로 독립적이라고 문서화합니다. 둘 다 허용하면 OpenAI는 두 번 크롤링하지 않도록 한 번의 크롤링 결과를 두 용도에 모두 쓸 수 있다고 밝힙니다.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 21.4%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
GPTBot
사용자 에이전트 문자열
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot허용하는 방법
User-agent: GPTBot
Allow: /차단하는 방법
User-agent: GPTBot
Disallow: /실제 방문인지 확인하는 방법
OpenAI는 이 에이전트가 사용하는 IP 대역을 JSON 파일로 공개합니다. 요청의 출발지 IP를 이 대역과 대조하세요. GPTBot를 내세우지만 다른 주소에서 온 요청은 OpenAI의 것이 아닙니다. OpenAI는 사용자 에이전트의 버전 번호가 바뀔 수 있다고 안내하므로, 전체 문자열이 아니라 GPTBot 토큰으로 일치 여부를 확인하세요.