User agent dan rentang IP crawler AI: GPTBot, ClaudeBot, PerplexityBot, dan lainnya

Dipublikasikan

Jawaban singkat

GPTBot mengidentifikasi diri dengan user agent yang berisi GPTBot/1.4; +https://openai.com/gptbot, dan OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, serta Common Crawl masing-masing memublikasikan daftar JSON rentang IP yang dipakai crawler mereka. Sebuah permintaan asli hanya jika keduanya cocok: user agent menyebut crawler itu dan IP sumbernya ada di daftar vendor tersebut, atau, untuk Googlebot, bingbot, Applebot, dan CCBot, lolos pemeriksaan DNS balik (reverse) dan maju (forward). User agent saja tidak membuktikan apa pun, karena siapa pun bisa mengirimnya.

Saat Anda melihat GPTBot atau ClaudeBot di log, atau ingin membuat aturan firewall yang meloloskan crawler pencarian AI, Anda butuh dua hal: string persis yang dikirim setiap crawler, dan cara membuktikan bahwa permintaan benar-benar datang dari perusahaan yang disebutnya. Di bawah ini ada string yang dipublikasikan setiap vendor saat ini, daftar IP resmi atau metode DNS untuk masing-masing, dan dua skrip yang bisa Anda jalankan untuk memeriksa sebuah alamat.

Di halaman ini
  1. Apa string user agent GPTBot, ClaudeBot, PerplexityBot, dan crawler AI lainnya?
  2. Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?
  3. Di mana vendor crawler AI memublikasikan rentang IP mereka?
  4. Bagaimana cara memeriksa alamat IP terhadap daftar crawler resmi?
  5. Bagaimana cara memverifikasi Googlebot, bingbot, atau Applebot dengan DNS balik?
  6. Kenapa pemeriksaan user agent saja tidak cukup untuk mendeteksi GPTBot?
  7. Bagaimana AISeeWhy membantu memverifikasi trafik crawler AI?

Apa string user agent GPTBot, ClaudeBot, PerplexityBot, dan crawler AI lainnya?

String ini disalin dari dokumentasi vendor masing-masing. OpenAI dan Perplexity mencatat bahwa nomor versi bisa berubah, Google dan Microsoft menaruh versi browser terkini di posisi W.X.Y.Z, dan Apple menyatakan sesekali memperbarui bagian browsernya. Cocokkan berdasarkan token crawler, seperti GPTBot atau bingbot, bukan seluruh string.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Artikel bantuan Anthropic menyebut ClaudeBot, Claude-SearchBot, dan Claude-User tetapi tidak mencantumkan string user agent lengkap, jadi cocokkan berdasarkan token itu. Halaman crawler Meta mencantumkan string yang diawali token yang ditampilkan, diikuti tautan ke dokumentasinya, dan menyatakan string yang muncul di log Anda bisa sedikit berbeda.

Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?

Dua nama tidak akan pernah muncul di log Anda. Google-Extended adalah token robots.txt yang mengatur apakah konten yang di-crawl Google boleh dipakai untuk model Gemini dan grounding; Google menyatakan token ini tidak memengaruhi penyertaan di Google Search. Applebot-Extended, menurut Apple, adalah user agent sekunder yang tidak meng-crawl halaman web; token ini hanya menentukan bagaimana Apple boleh memakai data yang dikumpulkan Applebot. Permintaan yang mengaku sebagai salah satunya tidak asli.

Di mana vendor crawler AI memublikasikan rentang IP mereka?

Sebagian besar vendor memublikasikan file JSON dengan bentuk yang sama: array prefixes berisi objek dengan ipv4Prefix atau ipv6Prefix, ditambah creationTime yang menunjukkan seberapa baru file itu.

Bagaimana cara memeriksa alamat IP terhadap daftar crawler resmi?

Skrip ini memuat setiap daftar dan melaporkan daftar mana yang berisi alamat tersebut. Skrip ini hanya butuh Python 3, dan menangani IPv4 maupun IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Daftar-daftar ini berubah. Setiap file membawa creationTime sendiri, Perplexity menyarankan pembaruan otomatis untuk aturan firewall Anda, dan Bing meminta Anda memperbarui daftarnya setiap hari. Jika Anda memakai daftar ini di firewall, ambil secara terjadwal, jangan disalin sekali saja.

Bagaimana cara memverifikasi Googlebot, bingbot, atau Applebot dengan DNS balik?

Google, Microsoft, Apple, dan Common Crawl mendokumentasikan pemeriksaan dua langkah yang sama: cari nama dari alamat IP, pastikan berakhiran domain vendor, lalu cari nama itu dan pastikan hasilnya IP yang sama. Kedua langkah penting, karena siapa pun yang menguasai rentang IP bisa menetapkan nama DNS balik apa saja, tetapi tidak bisa membuat domain vendor mengarah balik ke IP itu.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google menerima googlebot.com, google.com, dan googleusercontent.com di berbagai jenis crawler-nya; fungsi di atas hanya menerima googlebot.com, yang dipakai Googlebot sendiri di contoh-contoh Google. Untuk crawler dan fetcher Google lainnya, gunakan daftar JSON-nya. Pencarian DNS butuh waktu, jadi jalankan saat meninjau log atau simpan hasilnya di cache, bukan di setiap permintaan live.

Kenapa pemeriksaan user agent saja tidak cukup untuk mendeteksi GPTBot?

User agent adalah header yang dipilih oleh klien, jadi siapa pun bisa mengirim GPTBot atau Googlebot. Common Crawl memperingatkan bahwa sebagian crawler mengaku-ngaku sebagai CCBot, dan Bing memublikasikan panduan untuk memeriksa apakah trafik yang mengaku sebagai bingbot benar-benar berasal dari Bing. Mendeteksi GPTBot secara andal berarti memeriksa keduanya: token di user agent dan IP sumber di gptbot.json. Permintaan yang membawa token tetapi berasal dari alamat yang tidak terdaftar adalah peniru, dan memblokirnya tidak berdampak pada OpenAI.

Kebalikannya juga terjadi. Jika firewall Anda hanya mengizinkan berdasarkan user agent, peniru bisa masuk; jika hanya mengizinkan rentang IP, agen apa pun dari jaringan vendor itu mendapat perlakuan yang sama, termasuk yang ingin Anda blokir. Mencocokkan keduanya adalah aturan yang bisa diandalkan.

Bagaimana AISeeWhy membantu memverifikasi trafik crawler AI?

Pemeriksaan IP crawler AI gratis dari AISeeWhy memberi tahu Anda, tanpa akun, apakah sebuah alamat IP milik GPTBot atau crawler AI lain. Pemeriksaan situs gratis lalu meminta halaman Anda sebagai 16 crawler AI dan crawler pencarian, berdampingan dengan browser sungguhan, sehingga Anda bisa melihat apa yang akan diterima crawler asli.

Alat gratis

Langkah berikutnya

Crawler dalam artikel ini

Pertanyaan yang sering diajukan

Apa user agent GPTBot?

OpenAI memublikasikan Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot dan mencatat bahwa versinya bisa berubah. Cocokkan berdasarkan GPTBot dan pastikan IP-nya ada di https://openai.com/gptbot.json.

Apa user agent OAI-SearchBot?

String bergaya Chrome yang berakhiran compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Alamat-alamatnya tercantum di https://openai.com/searchbot.json. OpenAI memakainya untuk menampilkan situs di pencarian ChatGPT, tugas yang berbeda dari GPTBot.

Apakah Anthropic memublikasikan alamat IP ClaudeBot?

Ya. Anthropic menautkan ke https://claude.com/crawling/bots.json dan menyatakan IP sumber yang ada di daftar itu menunjukkan crawler berasal dari Anthropic. Artikel bantuannya menyebut token bot tetapi tidak menyebut string user agent lengkap.

Bisakah saya melihat Google-Extended atau Applebot-Extended di log saya?

Tidak. Keduanya adalah token robots.txt, bukan crawler. Google dan Apple mengambil halaman dengan Googlebot dan Applebot dan memakai token ini hanya untuk menentukan bagaimana konten boleh dipakai untuk AI.

Di mana daftar alamat IP bingbot?

Bing memublikasikannya di https://www.bing.com/toolbox/bingbot.json dan meminta Anda memperbaruinya setiap hari. Panduannya sendiri menyarankan pemeriksaan DNS balik dan maju, dengan nama yang harus berakhiran search.msn.com.

Sumber

Artikel lainnya