User agent dan rentang IP crawler AI: GPTBot, ClaudeBot, PerplexityBot, dan lainnya
GPTBot mengidentifikasi diri dengan user agent yang berisi GPTBot/1.4; +https://openai.com/gptbot, dan OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, serta Common Crawl masing-masing memublikasikan daftar JSON rentang IP yang dipakai crawler mereka. Sebuah permintaan asli hanya jika keduanya cocok: user agent menyebut crawler itu dan IP sumbernya ada di daftar vendor tersebut, atau, untuk Googlebot, bingbot, Applebot, dan CCBot, lolos pemeriksaan DNS balik (reverse) dan maju (forward). User agent saja tidak membuktikan apa pun, karena siapa pun bisa mengirimnya.
Saat Anda melihat GPTBot atau ClaudeBot di log, atau ingin membuat aturan firewall yang meloloskan crawler pencarian AI, Anda butuh dua hal: string persis yang dikirim setiap crawler, dan cara membuktikan bahwa permintaan benar-benar datang dari perusahaan yang disebutnya. Di bawah ini ada string yang dipublikasikan setiap vendor saat ini, daftar IP resmi atau metode DNS untuk masing-masing, dan dua skrip yang bisa Anda jalankan untuk memeriksa sebuah alamat.
Di halaman ini
- Apa string user agent GPTBot, ClaudeBot, PerplexityBot, dan crawler AI lainnya?
- Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?
- Di mana vendor crawler AI memublikasikan rentang IP mereka?
- Bagaimana cara memeriksa alamat IP terhadap daftar crawler resmi?
- Bagaimana cara memverifikasi Googlebot, bingbot, atau Applebot dengan DNS balik?
- Kenapa pemeriksaan user agent saja tidak cukup untuk mendeteksi GPTBot?
- Bagaimana AISeeWhy membantu memverifikasi trafik crawler AI?
Apa string user agent GPTBot, ClaudeBot, PerplexityBot, dan crawler AI lainnya?
String ini disalin dari dokumentasi vendor masing-masing. OpenAI dan Perplexity mencatat bahwa nomor versi bisa berubah, Google dan Microsoft menaruh versi browser terkini di posisi W.X.Y.Z, dan Apple menyatakan sesekali memperbarui bagian browsernya. Cocokkan berdasarkan token crawler, seperti GPTBot atau bingbot, bukan seluruh string.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Artikel bantuan Anthropic menyebut ClaudeBot, Claude-SearchBot, dan Claude-User tetapi tidak mencantumkan string user agent lengkap, jadi cocokkan berdasarkan token itu. Halaman crawler Meta mencantumkan string yang diawali token yang ditampilkan, diikuti tautan ke dokumentasinya, dan menyatakan string yang muncul di log Anda bisa sedikit berbeda.
Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?
GPTBotmengumpulkan konten yang bisa dipakai untuk melatih model fondasi OpenAI.OAI-SearchBotmenampilkan situs di pencarian ChatGPT.ChatGPT-Usermengambil halaman untuk tindakan yang dimulai pengguna, dan OpenAI menyatakan aturan robots.txt mungkin tidak berlaku untuknya.OAI-AdsBotmemeriksa halaman yang diajukan sebagai iklan ChatGPT.ClaudeBotmengumpulkan data untuk model Anthropic,Claude-SearchBotmeningkatkan hasil pencarian, danClaude-Usermengambil halaman saat seseorang mengajukan pertanyaan ke Claude.PerplexityBotmenampilkan dan menautkan situs di pencarian Perplexity dan tidak dipakai untuk melatih model fondasi.Perplexity-Usermengambil halaman saat pengguna mengajukan pertanyaan.meta-externalagentmeng-crawl untuk melatih model AI atau mengindeks konten,meta-webindexermengindeks konten untuk pencarian Meta AI, danmeta-externalfetchermengambil tautan atas permintaan pengguna.CCBotadalah crawler milik Common Crawl, arsip web publik.
Dua nama tidak akan pernah muncul di log Anda. Google-Extended adalah token robots.txt yang mengatur apakah konten yang di-crawl Google boleh dipakai untuk model Gemini dan grounding; Google menyatakan token ini tidak memengaruhi penyertaan di Google Search. Applebot-Extended, menurut Apple, adalah user agent sekunder yang tidak meng-crawl halaman web; token ini hanya menentukan bagaimana Apple boleh memakai data yang dikumpulkan Applebot. Permintaan yang mengaku sebagai salah satunya tidak asli.
Di mana vendor crawler AI memublikasikan rentang IP mereka?
Sebagian besar vendor memublikasikan file JSON dengan bentuk yang sama: array prefixes berisi objek dengan ipv4Prefix atau ipv6Prefix, ditambah creationTime yang menunjukkan seberapa baru file itu.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.json, danhttps://openai.com/adsbot.json, satu untuk setiap agen. - Anthropic:
https://claude.com/crawling/bots.json, satu daftar untuk crawler-crawler-nya. Anthropic menyatakan alamat di daftar ini menunjukkan crawler berasal dari Anthropic, dan juga bahwa pemblokiran IP mungkin tidak menjamin opt-out secara andal. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsondanhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonuntuk Googlebot, dengan file terpisah untuk crawler kasus khusus dan fetcher yang dipicu pengguna. DNS balik juga bisa dipakai. - Apple:
https://search.developer.apple.com/applebot.json, atau DNS balik diapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Untuk IPv4, Common Crawl juga menyarankan DNS balik yang dikonfirmasi maju di bawahcrawl.commoncrawl.org; alamat IPv6 tidak punya DNS balik. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, yang menurut Bing perlu diperbarui setiap hari karena bisa berubah kapan saja, atau DNS balik yang berakhiransearch.msn.com. Bing juga menyediakan alat publik Verify Bingbot. - Meta: halaman crawler-nya tidak memublikasikan daftar IP.
Bagaimana cara memeriksa alamat IP terhadap daftar crawler resmi?
Skrip ini memuat setiap daftar dan melaporkan daftar mana yang berisi alamat tersebut. Skrip ini hanya butuh Python 3, dan menangani IPv4 maupun IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Daftar-daftar ini berubah. Setiap file membawa creationTime sendiri, Perplexity menyarankan pembaruan otomatis untuk aturan firewall Anda, dan Bing meminta Anda memperbarui daftarnya setiap hari. Jika Anda memakai daftar ini di firewall, ambil secara terjadwal, jangan disalin sekali saja.
Bagaimana cara memverifikasi Googlebot, bingbot, atau Applebot dengan DNS balik?
Google, Microsoft, Apple, dan Common Crawl mendokumentasikan pemeriksaan dua langkah yang sama: cari nama dari alamat IP, pastikan berakhiran domain vendor, lalu cari nama itu dan pastikan hasilnya IP yang sama. Kedua langkah penting, karena siapa pun yang menguasai rentang IP bisa menetapkan nama DNS balik apa saja, tetapi tidak bisa membuat domain vendor mengarah balik ke IP itu.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google menerima googlebot.com, google.com, dan googleusercontent.com di berbagai jenis crawler-nya; fungsi di atas hanya menerima googlebot.com, yang dipakai Googlebot sendiri di contoh-contoh Google. Untuk crawler dan fetcher Google lainnya, gunakan daftar JSON-nya. Pencarian DNS butuh waktu, jadi jalankan saat meninjau log atau simpan hasilnya di cache, bukan di setiap permintaan live.
Kenapa pemeriksaan user agent saja tidak cukup untuk mendeteksi GPTBot?
User agent adalah header yang dipilih oleh klien, jadi siapa pun bisa mengirim GPTBot atau Googlebot. Common Crawl memperingatkan bahwa sebagian crawler mengaku-ngaku sebagai CCBot, dan Bing memublikasikan panduan untuk memeriksa apakah trafik yang mengaku sebagai bingbot benar-benar berasal dari Bing. Mendeteksi GPTBot secara andal berarti memeriksa keduanya: token di user agent dan IP sumber di gptbot.json. Permintaan yang membawa token tetapi berasal dari alamat yang tidak terdaftar adalah peniru, dan memblokirnya tidak berdampak pada OpenAI.
Kebalikannya juga terjadi. Jika firewall Anda hanya mengizinkan berdasarkan user agent, peniru bisa masuk; jika hanya mengizinkan rentang IP, agen apa pun dari jaringan vendor itu mendapat perlakuan yang sama, termasuk yang ingin Anda blokir. Mencocokkan keduanya adalah aturan yang bisa diandalkan.
Bagaimana AISeeWhy membantu memverifikasi trafik crawler AI?
Pemeriksaan IP crawler AI gratis dari AISeeWhy memberi tahu Anda, tanpa akun, apakah sebuah alamat IP milik GPTBot atau crawler AI lain. Pemeriksaan situs gratis lalu meminta halaman Anda sebagai 16 crawler AI dan crawler pencarian, berdampingan dengan browser sungguhan, sehingga Anda bisa melihat apa yang akan diterima crawler asli.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa IP crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Apa user agent GPTBot?
OpenAI memublikasikan Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot dan mencatat bahwa versinya bisa berubah. Cocokkan berdasarkan GPTBot dan pastikan IP-nya ada di https://openai.com/gptbot.json.
Apa user agent OAI-SearchBot?
String bergaya Chrome yang berakhiran compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Alamat-alamatnya tercantum di https://openai.com/searchbot.json. OpenAI memakainya untuk menampilkan situs di pencarian ChatGPT, tugas yang berbeda dari GPTBot.
Apakah Anthropic memublikasikan alamat IP ClaudeBot?
Ya. Anthropic menautkan ke https://claude.com/crawling/bots.json dan menyatakan IP sumber yang ada di daftar itu menunjukkan crawler berasal dari Anthropic. Artikel bantuannya menyebut token bot tetapi tidak menyebut string user agent lengkap.
Bisakah saya melihat Google-Extended atau Applebot-Extended di log saya?
Tidak. Keduanya adalah token robots.txt, bukan crawler. Google dan Apple mengambil halaman dengan Googlebot dan Applebot dan memakai token ini hanya untuk menentukan bagaimana konten boleh dipakai untuk AI.
Di mana daftar alamat IP bingbot?
Bing memublikasikannya di https://www.bing.com/toolbox/bingbot.json dan meminta Anda memperbaruinya setiap hari. Panduannya sendiri menyarankan pemeriksaan DNS balik dan maju, dengan nama yang harus berakhiran search.msn.com.
Sumber
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot