User agent dan julat IP crawler AI: GPTBot, ClaudeBot, PerplexityBot dan lain-lain

Diterbitkan

Jawapan ringkas

GPTBot memperkenalkan diri dengan user agent yang mengandungi GPTBot/1.4; +https://openai.com/gptbot, dan OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple dan Common Crawl masing-masing menerbitkan senarai JSON julat IP yang digunakan crawler mereka. Permintaan hanya tulen apabila kedua-duanya sepadan: user agent menamakan crawler itu dan IP sumber berada dalam senarai vendor itu, atau, bagi Googlebot, bingbot, Applebot dan CCBot, lulus semakan DNS songsang dan hadapan. User agent sahaja tidak membuktikan apa-apa, kerana sesiapa pun boleh menghantarnya.

Apabila anda melihat GPTBot atau ClaudeBot dalam log anda, atau mahukan peraturan firewall yang membenarkan crawler carian AI masuk, anda memerlukan dua perkara: rentetan tepat yang dihantar setiap crawler, dan cara untuk membuktikan bahawa permintaan datang daripada syarikat yang dinamakannya. Di bawah ialah rentetan seperti yang diterbitkan setiap vendor hari ini, senarai IP rasmi atau kaedah DNS bagi setiap satu, dan dua skrip yang boleh anda jalankan untuk menyemak alamat.

Dalam halaman ini
  1. Apakah rentetan user agent GPTBot, ClaudeBot, PerplexityBot dan crawler AI lain?
  2. Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?
  3. Di mana vendor crawler AI menerbitkan julat IP mereka?
  4. Bagaimana saya menyemak alamat IP terhadap senarai crawler rasmi?
  5. Bagaimana saya mengesahkan Googlebot, bingbot atau Applebot dengan DNS songsang?
  6. Mengapa semakan user agent tidak cukup untuk mengesan GPTBot?
  7. Bagaimana AISeeWhy boleh membantu mengesahkan trafik crawler AI?

Apakah rentetan user agent GPTBot, ClaudeBot, PerplexityBot dan crawler AI lain?

Rentetan ini disalin daripada dokumentasi vendor sendiri. OpenAI dan Perplexity menyatakan nombor versi boleh berubah, Google dan Microsoft meletakkan versi pelayar semasa di tempat W.X.Y.Z, dan Apple menyatakan ia sekali-sekala mengemas kini bahagian pelayar. Padankan pada token crawler, seperti GPTBot atau bingbot, bukan pada keseluruhan rentetan.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Artikel bantuan Anthropic menamakan ClaudeBot, Claude-SearchBot dan Claude-User tetapi tidak mencetak rentetan user agent penuh, jadi padankan pada token tersebut. Halaman crawler Meta menyenaraikan rentetan yang bermula dengan token yang ditunjukkan, diikuti pautan ke dokumentasinya, dan menyatakan rentetan dalam log anda mungkin sedikit berbeza.

Crawler mana melakukan apa, dan nama mana yang hanya token robots.txt?

Dua nama tidak pernah muncul dalam log anda. Google-Extended ialah token robots.txt yang mengawal sama ada kandungan yang dirangkak Google boleh digunakan untuk model Gemini dan grounding; Google menyatakan ia tidak menjejaskan kemasukan dalam Google Search. Applebot-Extended pula, menurut Apple, ialah user agent sekunder yang tidak merangkak halaman web; ia hanya menentukan cara Apple boleh menggunakan data yang dikumpul Applebot. Permintaan yang mendakwa sebagai salah satu daripadanya bukan tulen.

Di mana vendor crawler AI menerbitkan julat IP mereka?

Kebanyakan vendor menerbitkan fail JSON dengan bentuk yang sama: tatasusunan prefixes yang mengandungi objek dengan ipv4Prefix atau ipv6Prefix, serta creationTime yang menunjukkan sejauh mana ia terkini.

Bagaimana saya menyemak alamat IP terhadap senarai crawler rasmi?

Skrip ini memuatkan setiap senarai dan melaporkan senarai mana yang mengandungi alamat itu. Ia hanya memerlukan Python 3, dan menyokong IPv4 serta IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Senarai itu berubah. Setiap fail membawa creationTime sendiri, Perplexity mengesyorkan pengemaskinian automatik peraturan firewall anda, dan Bing meminta anda memuat semula senarainya setiap hari. Jika anda menggunakan senarai itu dalam firewall, ambilnya mengikut jadual dan bukannya menyalinnya sekali sahaja.

Bagaimana saya mengesahkan Googlebot, bingbot atau Applebot dengan DNS songsang?

Google, Microsoft, Apple dan Common Crawl mendokumenkan semakan dua langkah yang sama: cari nama alamat IP, pastikan ia berakhir dengan domain vendor, kemudian cari nama itu dan pastikan ia memulangkan IP yang sama. Kedua-dua langkah penting, kerana sesiapa yang mengawal julat IP boleh menetapkan sebarang nama DNS songsang, tetapi tidak boleh membuat domain vendor menunjuk kembali kepadanya.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google menerima googlebot.com, google.com dan googleusercontent.com merentas jenis crawlernya; fungsi di atas hanya menerima googlebot.com, iaitu yang digunakan Googlebot sendiri dalam contoh Google. Untuk crawler dan pengambil Google yang lain, gunakan senarai JSON-nya. Carian DNS mengambil masa, jadi jalankannya semasa menyemak log atau simpan hasilnya dalam cache, bukan pada setiap permintaan langsung.

Mengapa semakan user agent tidak cukup untuk mengesan GPTBot?

User agent ialah pengepala yang dipilih oleh klien, jadi sesiapa pun boleh menghantar GPTBot atau Googlebot. Common Crawl memberi amaran bahawa sesetengah crawler mendakwa secara palsu sebagai CCBot, dan Bing menerbitkan panduan untuk menyemak sama ada trafik yang mendakwa sebagai bingbot benar-benar datang daripada Bing. Mengesan GPTBot dengan pasti bermakna menyemak kedua-duanya: token dalam user agent dan IP sumber dalam gptbot.json. Permintaan dengan token itu dari alamat yang tidak disenaraikan ialah peniru, dan menyekatnya tidak menjejaskan OpenAI.

Sebaliknya juga berlaku. Jika firewall anda hanya membenarkan user agent, peniru dapat masuk; jika ia hanya membenarkan julat IP, mana-mana ejen dari rangkaian vendor itu mendapat layanan yang sama, termasuk yang anda mahu sekat. Memadankan kedua-duanya ialah peraturan yang boleh diharap.

Bagaimana AISeeWhy boleh membantu mengesahkan trafik crawler AI?

Semakan IP crawler AI percuma AISeeWhy memberitahu anda, tanpa akaun, sama ada alamat IP milik GPTBot atau crawler AI lain. Semakan laman percuma kemudian meminta halaman anda sebagai 16 crawler AI dan carian bersebelahan pelayar sebenar, supaya anda dapat melihat apa yang akan diterima crawler tulen.

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Apakah user agent GPTBot?

OpenAI menerbitkan Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot dan menyatakan versinya mungkin berubah. Padankan pada GPTBot dan sahkan IP terhadap https://openai.com/gptbot.json.

Apakah user agent OAI-SearchBot?

Rentetan gaya Chrome yang berakhir dengan compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Alamatnya disenaraikan dalam https://openai.com/searchbot.json. OpenAI menggunakannya untuk memaparkan laman dalam carian ChatGPT, tugas yang berbeza daripada GPTBot.

Adakah Anthropic menerbitkan alamat IP ClaudeBot?

Ya. Anthropic memaut ke https://claude.com/crawling/bots.json dan menyatakan IP sumber dalam senarai itu menunjukkan crawler tersebut daripada Anthropic. Artikel bantuannya menamakan token bot tetapi bukan rentetan user agent penuh.

Bolehkah saya melihat Google-Extended atau Applebot-Extended dalam log saya?

Tidak. Kedua-duanya token robots.txt, bukan crawler. Google dan Apple mengambil halaman dengan Googlebot dan Applebot dan menggunakan token ini hanya untuk menentukan cara kandungan boleh digunakan untuk AI.

Di mana senarai alamat IP bingbot?

Bing menerbitkannya di https://www.bing.com/toolbox/bingbot.json dan meminta anda memuat semulanya setiap hari. Panduannya sendiri mengesyorkan semakan DNS songsang dan hadapan, di mana nama mesti berakhir dengan search.msn.com.

Sumber

Artikel lain