User agent dan julat IP crawler AI: GPTBot, ClaudeBot, PerplexityBot dan lain-lain
GPTBot memperkenalkan diri dengan user agent yang mengandungi GPTBot/1.4; +https://openai.com/gptbot, dan OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple dan Common Crawl masing-masing menerbitkan senarai JSON julat IP yang digunakan crawler mereka. Permintaan hanya tulen apabila kedua-duanya sepadan: user agent menamakan crawler itu dan IP sumber berada dalam senarai vendor itu, atau, bagi Googlebot, bingbot, Applebot dan CCBot, lulus semakan DNS songsang dan hadapan. User agent sahaja tidak membuktikan apa-apa, kerana sesiapa pun boleh menghantarnya.
Apabila anda melihat GPTBot atau ClaudeBot dalam log anda, atau mahukan peraturan firewall yang membenarkan crawler carian AI masuk, anda memerlukan dua perkara: rentetan tepat yang dihantar setiap crawler, dan cara untuk membuktikan bahawa permintaan datang daripada syarikat yang dinamakannya. Di bawah ialah rentetan seperti yang diterbitkan setiap vendor hari ini, senarai IP rasmi atau kaedah DNS bagi setiap satu, dan dua skrip yang boleh anda jalankan untuk menyemak alamat.
Dalam halaman ini
- Apakah rentetan user agent GPTBot, ClaudeBot, PerplexityBot dan crawler AI lain?
- Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?
- Di mana vendor crawler AI menerbitkan julat IP mereka?
- Bagaimana saya menyemak alamat IP terhadap senarai crawler rasmi?
- Bagaimana saya mengesahkan Googlebot, bingbot atau Applebot dengan DNS songsang?
- Mengapa semakan user agent tidak cukup untuk mengesan GPTBot?
- Bagaimana AISeeWhy boleh membantu mengesahkan trafik crawler AI?
Apakah rentetan user agent GPTBot, ClaudeBot, PerplexityBot dan crawler AI lain?
Rentetan ini disalin daripada dokumentasi vendor sendiri. OpenAI dan Perplexity menyatakan nombor versi boleh berubah, Google dan Microsoft meletakkan versi pelayar semasa di tempat W.X.Y.Z, dan Apple menyatakan ia sekali-sekala mengemas kini bahagian pelayar. Padankan pada token crawler, seperti GPTBot atau bingbot, bukan pada keseluruhan rentetan.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Artikel bantuan Anthropic menamakan ClaudeBot, Claude-SearchBot dan Claude-User tetapi tidak mencetak rentetan user agent penuh, jadi padankan pada token tersebut. Halaman crawler Meta menyenaraikan rentetan yang bermula dengan token yang ditunjukkan, diikuti pautan ke dokumentasinya, dan menyatakan rentetan dalam log anda mungkin sedikit berbeza.
Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?
GPTBotmengumpul kandungan yang mungkin digunakan untuk melatih model asas OpenAI.OAI-SearchBotmemaparkan laman dalam carian ChatGPT.ChatGPT-Usermengambil halaman untuk tindakan yang dimulakan pengguna, dan OpenAI menyatakan peraturan robots.txt mungkin tidak terpakai kepadanya.OAI-AdsBotmenyemak halaman yang diserahkan sebagai iklan ChatGPT.ClaudeBotmengumpul data untuk model Anthropic,Claude-SearchBotmenambah baik hasil carian, danClaude-Usermengambil halaman apabila seseorang bertanya soalan kepada Claude.PerplexityBotmemaparkan dan memaut laman dalam carian Perplexity dan tidak digunakan untuk melatih model asas.Perplexity-Usermengambil halaman apabila pengguna bertanya soalan.meta-externalagentmerangkak untuk melatih model AI atau mengindeks kandungan,meta-webindexermengindeks kandungan untuk carian Meta AI, danmeta-externalfetchermengambil pautan atas permintaan pengguna.CCBotialah crawler Common Crawl, arkib web awam.
Dua nama tidak pernah muncul dalam log anda. Google-Extended ialah token robots.txt yang mengawal sama ada kandungan yang dirangkak Google boleh digunakan untuk model Gemini dan grounding; Google menyatakan ia tidak menjejaskan kemasukan dalam Google Search. Applebot-Extended pula, menurut Apple, ialah user agent sekunder yang tidak merangkak halaman web; ia hanya menentukan cara Apple boleh menggunakan data yang dikumpul Applebot. Permintaan yang mendakwa sebagai salah satu daripadanya bukan tulen.
Di mana vendor crawler AI menerbitkan julat IP mereka?
Kebanyakan vendor menerbitkan fail JSON dengan bentuk yang sama: tatasusunan prefixes yang mengandungi objek dengan ipv4Prefix atau ipv6Prefix, serta creationTime yang menunjukkan sejauh mana ia terkini.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsondanhttps://openai.com/adsbot.json, satu bagi setiap ejen. - Anthropic:
https://claude.com/crawling/bots.json, satu senarai untuk crawlernya. Anthropic menyatakan alamat dalam senarai ini menunjukkan crawler itu datang daripada Anthropic, dan juga bahawa sekatan IP mungkin tidak menjamin penolakan dengan pasti. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsondanhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonuntuk Googlebot, dengan fail berasingan untuk crawler kes khas dan pengambil yang dicetuskan pengguna. DNS songsang juga boleh digunakan. - Apple:
https://search.developer.apple.com/applebot.json, atau DNS songsang dalamapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Untuk IPv4 ia juga mengesyorkan DNS songsang yang disahkan ke hadapan di bawahcrawl.commoncrawl.org; alamat IPv6 tiada DNS songsang. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, yang Bing minta anda muat semula setiap hari kerana ia boleh berubah pada bila-bila masa, atau DNS songsang yang berakhir dengansearch.msn.com. Bing juga menawarkan alat awam Verify Bingbot. - Meta: halaman crawlernya tidak menerbitkan senarai IP.
Bagaimana saya menyemak alamat IP terhadap senarai crawler rasmi?
Skrip ini memuatkan setiap senarai dan melaporkan senarai mana yang mengandungi alamat itu. Ia hanya memerlukan Python 3, dan menyokong IPv4 serta IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Senarai itu berubah. Setiap fail membawa creationTime sendiri, Perplexity mengesyorkan pengemaskinian automatik peraturan firewall anda, dan Bing meminta anda memuat semula senarainya setiap hari. Jika anda menggunakan senarai itu dalam firewall, ambilnya mengikut jadual dan bukannya menyalinnya sekali sahaja.
Bagaimana saya mengesahkan Googlebot, bingbot atau Applebot dengan DNS songsang?
Google, Microsoft, Apple dan Common Crawl mendokumenkan semakan dua langkah yang sama: cari nama alamat IP, pastikan ia berakhir dengan domain vendor, kemudian cari nama itu dan pastikan ia memulangkan IP yang sama. Kedua-dua langkah penting, kerana sesiapa yang mengawal julat IP boleh menetapkan sebarang nama DNS songsang, tetapi tidak boleh membuat domain vendor menunjuk kembali kepadanya.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google menerima googlebot.com, google.com dan googleusercontent.com merentas jenis crawlernya; fungsi di atas hanya menerima googlebot.com, iaitu yang digunakan Googlebot sendiri dalam contoh Google. Untuk crawler dan pengambil Google yang lain, gunakan senarai JSON-nya. Carian DNS mengambil masa, jadi jalankannya semasa menyemak log atau simpan hasilnya dalam cache, bukan pada setiap permintaan langsung.
Mengapa semakan user agent tidak cukup untuk mengesan GPTBot?
User agent ialah pengepala yang dipilih oleh klien, jadi sesiapa pun boleh menghantar GPTBot atau Googlebot. Common Crawl memberi amaran bahawa sesetengah crawler mendakwa secara palsu sebagai CCBot, dan Bing menerbitkan panduan untuk menyemak sama ada trafik yang mendakwa sebagai bingbot benar-benar datang daripada Bing. Mengesan GPTBot dengan pasti bermakna menyemak kedua-duanya: token dalam user agent dan IP sumber dalam gptbot.json. Permintaan dengan token itu dari alamat yang tidak disenaraikan ialah peniru, dan menyekatnya tidak menjejaskan OpenAI.
Sebaliknya juga berlaku. Jika firewall anda hanya membenarkan user agent, peniru dapat masuk; jika ia hanya membenarkan julat IP, mana-mana ejen dari rangkaian vendor itu mendapat layanan yang sama, termasuk yang anda mahu sekat. Memadankan kedua-duanya ialah peraturan yang boleh diharap.
Bagaimana AISeeWhy boleh membantu mengesahkan trafik crawler AI?
Semakan IP crawler AI percuma AISeeWhy memberitahu anda, tanpa akaun, sama ada alamat IP milik GPTBot atau crawler AI lain. Semakan laman percuma kemudian meminta halaman anda sebagai 16 crawler AI dan carian bersebelahan pelayar sebenar, supaya anda dapat melihat apa yang akan diterima crawler tulen.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Semakan IP perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Apakah user agent GPTBot?
OpenAI menerbitkan Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot dan menyatakan versinya mungkin berubah. Padankan pada GPTBot dan sahkan IP terhadap https://openai.com/gptbot.json.
Apakah user agent OAI-SearchBot?
Rentetan gaya Chrome yang berakhir dengan compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Alamatnya disenaraikan dalam https://openai.com/searchbot.json. OpenAI menggunakannya untuk memaparkan laman dalam carian ChatGPT, tugas yang berbeza daripada GPTBot.
Adakah Anthropic menerbitkan alamat IP ClaudeBot?
Ya. Anthropic memaut ke https://claude.com/crawling/bots.json dan menyatakan IP sumber dalam senarai itu menunjukkan crawler tersebut daripada Anthropic. Artikel bantuannya menamakan token bot tetapi bukan rentetan user agent penuh.
Bolehkah saya melihat Google-Extended atau Applebot-Extended dalam log saya?
Tidak. Kedua-duanya token robots.txt, bukan crawler. Google dan Apple mengambil halaman dengan Googlebot dan Applebot dan menggunakan token ini hanya untuk menentukan cara kandungan boleh digunakan untuk AI.
Di mana senarai alamat IP bingbot?
Bing menerbitkannya di https://www.bing.com/toolbox/bingbot.json dan meminta anda memuat semulanya setiap hari. Panduannya sendiri mengesyorkan semakan DNS songsang dan hadapan, di mana nama mesti berakhir dengan search.msn.com.
Sumber
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot