User agent và dải IP của trình thu thập dữ liệu AI: GPTBot, ClaudeBot, PerplexityBot và các bot khác

Đăng ngày

Trả lời ngắn

GPTBot tự nhận diện bằng user agent chứa GPTBot/1.4; +https://openai.com/gptbot, và OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple và Common Crawl đều công bố một danh sách JSON các dải IP mà trình thu thập của họ dùng. Một yêu cầu chỉ là thật khi cả hai khớp: user agent nêu tên trình thu thập và IP nguồn nằm trong danh sách của nhà cung cấp đó, hoặc, với Googlebot, bingbot, Applebot và CCBot, vượt qua kiểm tra DNS ngược và DNS xuôi. Riêng user agent không chứng minh được gì, vì ai cũng có thể gửi nó.

Khi bạn thấy GPTBot hay ClaudeBot trong nhật ký, hoặc muốn một quy tắc tường lửa cho phép trình thu thập tìm kiếm AI đi qua, bạn cần hai thứ: chuỗi chính xác mà mỗi trình thu thập gửi, và cách chứng minh yêu cầu thực sự đến từ công ty mà nó nêu tên. Dưới đây là các chuỗi đúng như từng nhà cung cấp công bố hiện nay, danh sách IP chính thức hoặc phương pháp DNS cho từng trình thu thập, và hai script bạn có thể chạy để kiểm tra một địa chỉ.

Trong trang này
  1. Chuỗi user agent của GPTBot, ClaudeBot, PerplexityBot và các trình thu thập dữ liệu AI khác là gì?
  2. Trình thu thập nào làm gì, và những tên nào chỉ là token trong robots.txt?
  3. Các nhà cung cấp trình thu thập dữ liệu AI công bố dải IP ở đâu?
  4. Làm sao đối chiếu một địa chỉ IP với danh sách trình thu thập chính thức?
  5. Làm sao xác minh Googlebot, bingbot hoặc Applebot bằng DNS ngược?
  6. Vì sao kiểm tra user agent không đủ để phát hiện GPTBot?
  7. AISeeWhy giúp xác minh lưu lượng của trình thu thập dữ liệu AI như thế nào?

Chuỗi user agent của GPTBot, ClaudeBot, PerplexityBot và các trình thu thập dữ liệu AI khác là gì?

Các chuỗi này được sao chép từ tài liệu của chính các nhà cung cấp. OpenAI và Perplexity lưu ý số phiên bản có thể thay đổi, Google và Microsoft đặt phiên bản trình duyệt hiện tại vào vị trí W.X.Y.Z, và Apple cho biết thỉnh thoảng cập nhật phần trình duyệt. Hãy so khớp theo token của trình thu thập, như GPTBot hay bingbot, chứ không theo cả chuỗi.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Bài trợ giúp của Anthropic nêu tên ClaudeBot, Claude-SearchBot và Claude-User nhưng không in đầy đủ chuỗi user agent, nên hãy so khớp theo các token đó. Trang trình thu thập của Meta liệt kê các chuỗi bắt đầu bằng những token được nêu, theo sau là liên kết tới tài liệu của họ, và cho biết chuỗi trong nhật ký của bạn có thể hơi khác.

Trình thu thập nào làm gì, và những tên nào chỉ là token trong robots.txt?

Có hai cái tên không bao giờ xuất hiện trong nhật ký của bạn. Google-Extended là token robots.txt kiểm soát việc nội dung mà Google thu thập có được dùng cho các mô hình Gemini và để làm căn cứ cho câu trả lời (grounding) hay không; Google cho biết nó không ảnh hưởng đến việc có mặt trong Google Search. Applebot-Extended, theo lời Apple, là một user agent phụ không thu thập trang web; nó chỉ quyết định Apple được dùng dữ liệu mà Applebot thu thập như thế nào. Một yêu cầu tự xưng là một trong hai cái tên này đều không phải thật.

Các nhà cung cấp trình thu thập dữ liệu AI công bố dải IP ở đâu?

Hầu hết nhà cung cấp công bố một tệp JSON có cùng cấu trúc: mảng prefixes gồm các đối tượng có ipv4Prefix hoặc ipv6Prefix, cùng creationTime cho biết tệp mới đến mức nào.

Làm sao đối chiếu một địa chỉ IP với danh sách trình thu thập chính thức?

Script này tải từng danh sách và cho biết danh sách nào chứa địa chỉ đó. Script chỉ cần Python 3, và xử lý cả IPv4 lẫn IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Các danh sách thay đổi. Mỗi tệp có creationTime riêng, Perplexity khuyên tự động hóa việc cập nhật quy tắc tường lửa, và Bing đề nghị làm mới danh sách của họ hằng ngày. Nếu bạn dùng các danh sách trong tường lửa, hãy tải chúng theo lịch thay vì sao chép một lần.

Làm sao xác minh Googlebot, bingbot hoặc Applebot bằng DNS ngược?

Google, Microsoft, Apple và Common Crawl mô tả cùng một phép kiểm tra hai bước: tra tên của địa chỉ IP, xác nhận nó kết thúc bằng tên miền của nhà cung cấp, rồi tra ngược tên đó và xác nhận nó trả về đúng IP ban đầu. Cả hai bước đều quan trọng, vì ai kiểm soát một dải IP cũng có thể đặt bất kỳ tên DNS ngược nào, nhưng không thể khiến tên miền của nhà cung cấp trỏ ngược về đó.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google chấp nhận googlebot.com, google.com và googleusercontent.com cho các loại trình thu thập của mình; hàm ở trên chỉ chấp nhận googlebot.com, là tên miền mà chính Googlebot dùng trong các ví dụ của Google. Với các trình thu thập và trình tải khác của Google, hãy dùng danh sách JSON của họ. Tra DNS mất thời gian, nên hãy chạy khi xem lại nhật ký hoặc lưu đệm kết quả, thay vì chạy với mỗi yêu cầu trực tiếp.

Vì sao kiểm tra user agent không đủ để phát hiện GPTBot?

User agent là một header do phía máy khách chọn, nên ai cũng có thể gửi GPTBot hay Googlebot. Common Crawl cảnh báo rằng một số trình thu thập mạo danh CCBot, và Bing công bố hướng dẫn kiểm tra lưu lượng tự xưng là bingbot có thật sự đến từ Bing không. Phát hiện GPTBot đáng tin cậy nghĩa là kiểm tra cả hai: token trong user agent và IP nguồn trong gptbot.json. Một yêu cầu có token nhưng từ địa chỉ không có trong danh sách là kẻ mạo danh, và chặn nó không ảnh hưởng gì đến OpenAI.

Điều ngược lại cũng xảy ra. Nếu tường lửa chỉ cho phép theo user agent, kẻ mạo danh lọt vào; nếu chỉ cho phép theo dải IP, mọi tác tử từ mạng của nhà cung cấp đó đều được đối xử như nhau, kể cả tác tử bạn định chặn. Khớp cả hai mới là quy tắc đáng tin cậy.

AISeeWhy giúp xác minh lưu lượng của trình thu thập dữ liệu AI như thế nào?

Công cụ kiểm tra IP trình thu thập dữ liệu AI miễn phí của AISeeWhy cho bạn biết, không cần tài khoản, một địa chỉ IP có thuộc về GPTBot hay trình thu thập AI khác không. Sau đó bước kiểm tra website miễn phí yêu cầu trang của bạn dưới danh nghĩa 16 trình thu thập dữ liệu AI và tìm kiếm bên cạnh một trình duyệt thật, để bạn thấy trình thu thập thật sẽ nhận được gì.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

User agent của GPTBot là gì?

OpenAI công bố Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot và lưu ý phiên bản có thể thay đổi. Hãy so khớp theo GPTBot và xác nhận IP với https://openai.com/gptbot.json.

User agent của OAI-SearchBot là gì?

Một chuỗi kiểu Chrome kết thúc bằng compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Các địa chỉ của nó được liệt kê trong https://openai.com/searchbot.json. OpenAI dùng nó để đưa website lên tìm kiếm của ChatGPT, một việc khác với GPTBot.

Anthropic có công bố địa chỉ IP của ClaudeBot không?

Có. Anthropic liên kết tới https://claude.com/crawling/bots.json và cho biết IP nguồn có trong danh sách đó chứng tỏ trình thu thập đến từ Anthropic. Bài trợ giúp của họ nêu tên các token bot nhưng không có chuỗi user agent đầy đủ.

Tôi có thấy Google-Extended hay Applebot-Extended trong nhật ký không?

Không. Cả hai là token robots.txt, không phải trình thu thập. Google và Apple tải trang bằng Googlebot và Applebot và chỉ dùng các token này để quyết định nội dung được dùng cho AI như thế nào.

Danh sách địa chỉ IP của bingbot ở đâu?

Bing công bố tại https://www.bing.com/toolbox/bingbot.json và đề nghị bạn làm mới hằng ngày. Hướng dẫn của họ khuyên kiểm tra DNS ngược và DNS xuôi, trong đó tên phải kết thúc bằng search.msn.com.

Nguồn tham khảo

Bài viết khác