AI 크롤러 user agent와 IP 대역: GPTBot, ClaudeBot, PerplexityBot 등

게시일

핵심 답변

GPTBot은 GPTBot/1.4; +https://openai.com/gptbot가 포함된 user agent로 자신을 밝히며, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl은 각자 크롤러가 쓰는 IP 대역을 JSON 목록으로 공개합니다. 요청이 진짜인 것은 두 가지가 모두 맞을 때뿐입니다. user agent가 크롤러를 가리키고, 출발 IP가 해당 회사의 목록에 있거나, Googlebot, bingbot, Applebot, CCBot의 경우 역방향·정방향 DNS 확인을 통과해야 합니다. user agent만으로는 아무것도 증명되지 않습니다. 누구나 보낼 수 있기 때문입니다.

로그에서 GPTBot이나 ClaudeBot을 보았거나 AI 검색 크롤러를 통과시키는 방화벽 규칙이 필요하다면 두 가지가 필요합니다. 각 크롤러가 보내는 정확한 문자열, 그리고 요청이 그 이름의 회사에서 왔음을 증명하는 방법입니다. 아래에 각 회사가 현재 공개한 문자열, 회사별 공식 IP 목록이나 DNS 확인 방법, 주소를 확인하는 스크립트 두 개를 정리했습니다.

이 글의 목차
  1. GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러의 user agent 문자열은?
  2. 어떤 크롤러가 무엇을 하며, 어떤 이름이 robots.txt 토큰일 뿐인가요?
  3. AI 크롤러 회사들은 IP 대역을 어디에 공개하나요?
  4. IP 주소를 공식 크롤러 목록과 어떻게 대조하나요?
  5. 역방향 DNS로 Googlebot, bingbot, Applebot을 어떻게 검증하나요?
  6. user agent 확인만으로 GPTBot을 탐지할 수 없는 이유는?
  7. AISeeWhy는 AI 크롤러 트래픽 검증에 어떻게 도움이 되나요?

GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러의 user agent 문자열은?

각 회사의 공식 문서에서 그대로 옮겼습니다. OpenAI와 Perplexity는 버전 번호가 바뀔 수 있다고 밝히고, Google과 Microsoft는 W.X.Y.Z 자리에 현재 브라우저 버전을 넣으며, Apple은 브라우저 부분을 가끔 업데이트한다고 합니다. 전체 문자열이 아니라 GPTBot이나 bingbot 같은 크롤러 토큰으로 매칭하세요.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic 도움말은 ClaudeBot, Claude-SearchBot, Claude-User를 명시하지만 전체 user agent 문자열은 싣지 않으므로 이 토큰으로 매칭하세요. Meta의 크롤러 페이지는 표시된 토큰으로 시작하고 문서 링크가 뒤따르는 문자열을 나열하며, 로그에 찍히는 문자열은 조금씩 다를 수 있다고 안내합니다.

어떤 크롤러가 무엇을 하며, 어떤 이름이 robots.txt 토큰일 뿐인가요?

로그에 절대 나타나지 않는 이름이 두 개 있습니다. Google-Extended는 Google이 크롤링한 콘텐츠를 Gemini 모델과 그라운딩에 쓸 수 있는지 정하는 robots.txt 토큰이며, Google은 Google 검색 포함 여부에는 영향을 주지 않는다고 밝힙니다. Applebot-Extended는 Apple의 표현으로 웹페이지를 크롤링하지 않는 보조 user agent이며, Applebot이 수집한 데이터를 Apple이 어떻게 쓸 수 있는지만 정합니다. 둘 중 하나라고 주장하는 요청은 진짜가 아닙니다.

AI 크롤러 회사들은 IP 대역을 어디에 공개하나요?

대부분의 회사는 같은 형태의 JSON 파일을 공개합니다. ipv4Prefix 또는 ipv6Prefix를 가진 객체의 prefixes 배열과, 얼마나 최신인지 알려 주는 creationTime이 들어 있습니다.

IP 주소를 공식 크롤러 목록과 어떻게 대조하나요?

이 스크립트는 각 목록을 불러와 어떤 목록에 주소가 있는지 알려 줍니다. Python 3만 있으면 되고 IPv4와 IPv6를 모두 처리합니다.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

목록은 바뀝니다. 각 파일에는 자체 creationTime이 있고, Perplexity는 방화벽 규칙 업데이트를 자동화하라고 권하며, Bing은 목록을 매일 새로 받으라고 합니다. 방화벽에 목록을 쓴다면 한 번 복사하지 말고 일정에 맞춰 가져오세요.

역방향 DNS로 Googlebot, bingbot, Applebot을 어떻게 검증하나요?

Google, Microsoft, Apple, Common Crawl은 같은 2단계 확인을 안내합니다. IP 주소의 이름을 조회해 회사 도메인으로 끝나는지 확인하고, 그 이름을 다시 조회해 같은 IP가 나오는지 확인합니다. IP 대역을 가진 사람은 역방향 DNS 이름을 마음대로 정할 수 있지만 회사 도메인이 그 IP를 가리키게 만들 수는 없으므로 두 단계 모두 중요합니다.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google은 크롤러 유형 전반에 걸쳐 googlebot.com, google.com, googleusercontent.com을 인정합니다. 위 함수는 Google 예시에서 Googlebot 자체가 쓰는 googlebot.com만 받아들입니다. Google의 다른 크롤러와 가져오기 도구에는 JSON 목록을 쓰세요. DNS 조회는 시간이 걸리므로 실시간 요청마다 하지 말고 로그를 검토할 때 실행하거나 결과를 캐시하세요.

user agent 확인만으로 GPTBot을 탐지할 수 없는 이유는?

user agent는 클라이언트가 정하는 헤더이므로 누구나 GPTBot이나 Googlebot을 보낼 수 있습니다. Common Crawl은 일부 크롤러가 CCBot이라고 거짓으로 주장한다고 경고하고, Bing은 bingbot이라고 주장하는 트래픽이 정말 Bing에서 왔는지 확인하는 가이드를 공개합니다. GPTBot을 확실히 탐지하려면 user agent의 토큰과 gptbot.json에 있는 출발 IP를 모두 확인해야 합니다. 목록에 없는 주소에서 토큰을 보낸 요청은 사칭이며, 이를 차단해도 OpenAI에는 영향이 없습니다.

반대 경우도 있습니다. 방화벽이 user agent만 허용하면 사칭 요청이 들어오고, IP 대역만 허용하면 그 회사 네트워크의 모든 에이전트가 같은 대우를 받습니다. 차단하려던 에이전트도 마찬가지입니다. 둘 다 맞는지 보는 것이 믿을 만한 규칙입니다.

AISeeWhy는 AI 크롤러 트래픽 검증에 어떻게 도움이 되나요?

무료 AISeeWhy AI 크롤러 IP 확인 도구는 계정 없이 IP 주소가 GPTBot이나 다른 AI 크롤러의 것인지 알려 줍니다. 이어서 무료 사이트 검사는 실제 브라우저와 나란히 16개의 AI·검색 크롤러로 페이지를 요청하므로, 진짜 크롤러가 무엇을 받는지 볼 수 있습니다.

무료 도구

다음 단계

이 글에 나오는 크롤러

자주 묻는 질문

GPTBot user agent는 무엇인가요?

OpenAI는 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot를 공개하며 버전이 바뀔 수 있다고 밝힙니다. GPTBot으로 매칭하고 https://openai.com/gptbot.json과 IP를 대조하세요.

OAI-SearchBot user agent는 무엇인가요?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot로 끝나는 Chrome 형식의 문자열입니다. 주소 목록은 https://openai.com/searchbot.json에 있습니다. OpenAI는 이 크롤러로 ChatGPT 검색에 사이트를 노출하며, 이는 GPTBot과 다른 역할입니다.

Anthropic은 ClaudeBot IP 주소를 공개하나요?

네. Anthropic은 https://claude.com/crawling/bots.json을 안내하며, 출발 IP가 이 목록에 있으면 크롤러가 Anthropic에서 왔음을 보여 준다고 밝힙니다. 도움말은 봇 토큰을 명시하지만 전체 user agent 문자열은 싣지 않습니다.

로그에서 Google-Extended나 Applebot-Extended를 볼 수 있나요?

아닙니다. 둘 다 크롤러가 아니라 robots.txt 토큰입니다. Google과 Apple은 Googlebot과 Applebot으로 페이지를 가져오고, 이 토큰은 콘텐츠를 AI에 어떻게 쓸 수 있는지 정하는 데만 사용합니다.

bingbot IP 주소 목록은 어디에 있나요?

Bing은 https://www.bing.com/toolbox/bingbot.json에 공개하며 매일 새로 받으라고 안내합니다. Bing 자체 가이드는 역방향·정방향 DNS 확인을 권하며, 이때 이름은 search.msn.com으로 끝나야 합니다.

참고 자료

다른 글