AI-robotite user agent'id ja IP-vahemikud: GPTBot, ClaudeBot, PerplexityBot ja teised

Avaldatud

Lühike vastus

GPTBot tutvustab end user agent'iga, mis sisaldab GPTBot/1.4; +https://openai.com/gptbot, ning OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ja Common Crawl avaldavad igaüks JSON-loendi oma robotite kasutatavatest IP-vahemikest. Päring on ehtne ainult siis, kui mõlemad sobivad: user agent nimetab robotit ja lähte-IP on selle pakkuja loendis või Googleboti, bingboti, Applebot'i ja CCBoti puhul läbib pöörd- ja otse-DNS-i kontrolli. User agent üksi ei tõesta midagi, sest igaüks saab seda saata.

Kui näed oma logides GPTBot-i või ClaudeBot-i või tahad tulemüürireeglit, mis laseb AI-otsingurobotid läbi, vajad kaht asja: täpset stringi, mida iga robot saadab, ja viisi tõestada, et päring tuli ettevõttelt, keda see nimetab. Allpool on stringid nii, nagu iga pakkuja neid täna avaldab, ametlik IP-loend või DNS-meetod igaühe jaoks ja kaks skripti, millega aadressi kontrollida.

Sellel lehel
  1. Millised on GPTBoti, ClaudeBoti, PerplexityBoti ja teiste AI-robotite user agent'i stringid?
  2. Milline robot mida teeb ja millised nimed on ainult robots.txt tunnused?
  3. Kus avaldavad AI-robotite pakkujad oma IP-vahemikke?
  4. Kuidas kontrollida IP-aadressi ametlike robotiloendite vastu?
  5. Kuidas kontrollida Googlebot'i, bingbot'i või Applebot'i pöörd-DNS-iga?
  6. Miks user agent'i kontrollist ei piisa GPTBoti tuvastamiseks?
  7. Kuidas AISeeWhy aitab AI-robotite liiklust kontrollida?

Millised on GPTBoti, ClaudeBoti, PerplexityBoti ja teiste AI-robotite user agent'i stringid?

Need on kopeeritud pakkujate enda dokumentatsioonist. OpenAI ja Perplexity märgivad, et versiooninumbrid võivad muutuda, Google ja Microsoft panevad kohale W.X.Y.Z praeguse brauseri versiooni ning Apple ütleb, et uuendab brauseri osa aeg-ajalt. Võrdle roboti tunnuse, näiteks GPTBot või bingbot, mitte kogu stringi järgi.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropicu abiartikkel nimetab ClaudeBot-i, Claude-SearchBot-i ja Claude-User-it, kuid ei esita täielikke user agent'i stringe, nii et võrdle nende tunnuste järgi. Meta robotite leht loetleb stringe, mis algavad näidatud tunnustega, millele järgneb link tema dokumentatsioonile, ja ütleb, et sinu logides näidatavad stringid võivad veidi erineda.

Milline robot mida teeb ja millised nimed on ainult robots.txt tunnused?

Kaht nime ei näe sa logides kunagi. Google-Extended on robots.txt tunnus, mis määrab, kas Google'i roomatud sisu tohib kasutada Gemini mudelite ja groundingu jaoks; Google ütleb, et see ei mõjuta Google'i otsingusse kaasamist. Applebot-Extended on Apple'i sõnul teisene user agent, mis veebilehti ei rooma; see otsustab ainult, kuidas Apple tohib kasutada Applebot-i kogutud andmeid. Päring, mis väidab end olevat üks neist, ei ole ehtne.

Kus avaldavad AI-robotite pakkujad oma IP-vahemikke?

Enamik pakkujaid avaldab sama kujuga JSON-faili: prefixes-massiiv objektidega, milles on ipv4Prefix või ipv6Prefix, ning creationTime, mis ütleb, kui värske fail on.

Kuidas kontrollida IP-aadressi ametlike robotiloendite vastu?

See skript laadib iga loendi ja teatab, milline neist aadressi sisaldab. See vajab ainult Python 3-t ning toetab nii IPv4 kui ka IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Loendid muutuvad. Igal failil on oma creationTime, Perplexity soovitab tulemüürireeglite uuendamise automatiseerida ja Bing palub oma loendit iga päev värskendada. Kui kasutad loendeid tulemüüris, laadi need ajakava järgi, selle asemel et neid üks kord kopeerida.

Kuidas kontrollida Googlebot'i, bingbot'i või Applebot'i pöörd-DNS-iga?

Google, Microsoft, Apple ja Common Crawl dokumenteerivad sama kaheastmelise kontrolli: otsi IP-aadressi nimi, veendu, et see lõpeb pakkuja domeeniga, seejärel otsi see nimi ja veendu, et see tagastab sama IP. Mõlemad sammud on olulised, sest IP-vahemikku kontrolliv isik saab määrata mis tahes pöörd-DNS-i nime, kuid ei saa panna pakkuja domeeni enda poole tagasi osutama.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google aktsepteerib oma robotitüüpide lõikes domeene googlebot.com, google.com ja googleusercontent.com; ülaltoodud funktsioon aktsepteerib ainult googlebot.com-i, mida Googlebot ise Google'i näidetes kasutab. Google'i teiste robotite ja laadijate jaoks kasuta tema JSON-loendeid. DNS-päringud võtavad aega, nii et käivita neid logide ülevaatamisel või salvesta tulemus vahemällu, mitte iga reaalajas päringu puhul.

Miks user agent'i kontrollist ei piisa GPTBoti tuvastamiseks?

User agent on päis, mille klient ise valib, nii et igaüks saab saata GPTBot-i või Googlebot-i. Common Crawl hoiatab, et mõned robotid väidavad end valelikult olevat CCBot, ja Bing avaldab juhendi, kuidas kontrollida, kas bingbotiks end nimetav liiklus tuleb päriselt Bingist. GPTBoti usaldusväärne tuvastamine tähendab mõlema kontrollimist: tunnust user agent'is ja lähte-IP-d failis gptbot.json. Päring tunnusega loendisse mittekuuluvalt aadressilt on jäljendaja ja selle blokeerimine OpenAI-d ei mõjuta.

Juhtub ka vastupidist. Kui sinu tulemüür lubab ainult user agent'i, pääsevad jäljendajad sisse; kui see lubab ainult IP-vahemiku, saab iga selle pakkuja võrgust tulev agent sama kohtlemise, ka see, mida tahtsid blokeerida. Mõlema võrdlemine on usaldusväärne reegel.

Kuidas AISeeWhy aitab AI-robotite liiklust kontrollida?

Tasuta AISeeWhy AI-robotite IP-kontroll ütleb ilma kontota, kas IP-aadress kuulub GPTBotile või mõnele teisele AI-robotile. Tasuta saidikontroll küsib seejärel sinu lehte 16 AI- ja otsinguroboti nimel päris brauseri kõrval, nii et näed, mida ehtsad robotid saaksid.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Mis on GPTBoti user agent?

OpenAI avaldab stringi Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ja märgib, et versioon võib muutuda. Võrdle GPTBot-i järgi ja kontrolli IP-d faili https://openai.com/gptbot.json vastu.

Mis on OAI-SearchBoti user agent?

Chrome'i-laadne string, mis lõpeb osaga compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Selle aadressid on loetletud failis https://openai.com/searchbot.json. OpenAI kasutab seda saitide näitamiseks ChatGPT otsingus, mis on GPTBot-ist erinev töö.

Kas Anthropic avaldab ClaudeBoti IP-aadressid?

Jah. Anthropic lingib faili https://claude.com/crawling/bots.json ja ütleb, et selles loendis olev lähte-IP näitab, et robot on Anthropicult. Tema abiartikkel nimetab robotite tunnused, kuid mitte täielikke user agent'i stringe.

Kas näen Google-Extendedit või Applebot-Extendedit oma logides?

Ei. Mõlemad on robots.txt tunnused, mitte robotid. Google ja Apple laadivad lehti Googlebot-i ja Applebot-iga ning kasutavad neid tunnuseid ainult selleks, et otsustada, kuidas sisu tohib AI jaoks kasutada.

Kus on bingboti IP-aadresside loend?

Bing avaldab selle aadressil https://www.bing.com/toolbox/bingbot.json ja palub seda iga päev värskendada. Tema enda juhend soovitab pöörd- ja otse-DNS-i kontrolli, kus nimi peab lõppema search.msn.com-iga.

Allikad

Veel artikleid