Tekoälycrawlerien user agentit ja IP-alueet: GPTBot, ClaudeBot, PerplexityBot ja muut

Julkaistu

Lyhyt vastaus

GPTBot tunnistautuu user agentilla, joka sisältää merkkijonon GPTBot/1.4; +https://openai.com/gptbot, ja OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ja Common Crawl julkaisevat kukin JSON-listan crawleriensa käyttämistä IP-alueista. Pyyntö on aito vain, kun molemmat täsmäävät: user agent nimeää crawlerin ja lähde-IP on kyseisen yrityksen listalla, tai Googlebotin, bingbotin, Applebotin ja CCBotin kohdalla läpäisee käänteisen ja suoran DNS-tarkistuksen. Pelkkä user agent ei todista mitään, koska kuka tahansa voi lähettää sen.

Kun näet lokeissasi GPTBotin tai ClaudeBotin tai haluat palomuurisäännön, joka päästää tekoälyn hakucrawlerit läpi, tarvitset kaksi asiaa: kunkin crawlerin lähettämän tarkan merkkijonon ja tavan todistaa, että pyyntö tuli siltä yritykseltä, jonka se nimeää. Alla ovat merkkijonot sellaisina kuin kukin yritys ne nyt julkaisee, kunkin virallinen IP-lista tai DNS-menetelmä sekä kaksi skriptiä, joilla voit tarkistaa osoitteen.

Tällä sivulla
  1. Mitkä ovat GPTBotin, ClaudeBotin, PerplexityBotin ja muiden tekoälycrawlerien user agent -merkkijonot?
  2. Mikä crawler tekee mitäkin, ja mitkä nimet ovat vain robots.txt-tokeneita?
  3. Missä tekoälycrawlerien ylläpitäjät julkaisevat IP-alueensa?
  4. Miten tarkistan IP-osoitteen virallisia crawler-listoja vasten?
  5. Miten varmistan Googlebotin, bingbotin tai Applebotin käänteisellä DNS:llä?
  6. Miksi user agent -tarkistus ei riitä GPTBotin tunnistamiseen?
  7. Miten AISeeWhy auttaa varmistamaan tekoälycrawlerien liikenteen?

Mitkä ovat GPTBotin, ClaudeBotin, PerplexityBotin ja muiden tekoälycrawlerien user agent -merkkijonot?

Nämä on kopioitu yritysten omasta dokumentaatiosta. OpenAI ja Perplexity huomauttavat, että versionumerot voivat muuttua, Google ja Microsoft laittavat nykyisen selainversion kohtaan W.X.Y.Z, ja Apple kertoo päivittävänsä selainosaa ajoittain. Vertaa crawlerin tokenia, kuten GPTBot tai bingbot, älä koko merkkijonoa.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropicin ohjeartikkeli nimeää ClaudeBotin, Claude-SearchBotin ja Claude-Userin, mutta ei julkaise täydellisiä user agent -merkkijonoja, joten vertaa näitä tokeneita. Metan crawler-sivu listaa merkkijonot, jotka alkavat näytetyillä tokeneilla ja joita seuraa linkki sen dokumentaatioon, ja sanoo, että lokeissasi näkyvät merkkijonot voivat poiketa hieman.

Mikä crawler tekee mitäkin, ja mitkä nimet ovat vain robots.txt-tokeneita?

Kahta nimeä ei näy lokeissasi koskaan. Google-Extended on robots.txt-token, joka ohjaa, saako Googlen indeksoimaa sisältöä käyttää Gemini-malleihin ja grounding-käyttöön; Googlen mukaan se ei vaikuta Google-haussa näkymiseen. Applebot-Extended on Applen sanoin toissijainen user agent, joka ei indeksoi verkkosivuja; se vain ratkaisee, miten Apple saa käyttää Applebotin keräämää dataa. Pyyntö, joka väittää olevansa jompikumpi, ei ole aito.

Missä tekoälycrawlerien ylläpitäjät julkaisevat IP-alueensa?

Useimmat julkaisevat samanmuotoisen JSON-tiedoston: prefixes-taulukon, jonka objekteissa on ipv4Prefix tai ipv6Prefix, sekä creationTime-kentän, joka kertoo tiedoston tuoreuden.

Miten tarkistan IP-osoitteen virallisia crawler-listoja vasten?

Tämä skripti lataa jokaisen listan ja kertoo, mikä niistä sisältää osoitteen. Se tarvitsee vain Python 3:n ja käsittelee sekä IPv4- että IPv6-osoitteet.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Listat muuttuvat. Jokaisessa tiedostossa on oma creationTime, Perplexity suosittelee palomuurisääntöjen päivitysten automatisointia, ja Bing pyytää päivittämään listansa päivittäin. Jos käytät listoja palomuurissa, hae ne ajastetusti sen sijaan, että kopioisit ne kerran.

Miten varmistan Googlebotin, bingbotin tai Applebotin käänteisellä DNS:llä?

Google, Microsoft, Apple ja Common Crawl dokumentoivat saman kaksivaiheisen tarkistuksen: hae IP-osoitteen nimi, varmista, että se päättyy yrityksen verkkotunnukseen, hae sitten tämä nimi ja varmista, että se palauttaa saman IP:n. Molemmat vaiheet ovat tärkeitä, koska IP-alueen haltija voi asettaa minkä tahansa käänteisen DNS-nimen, mutta ei voi saada yrityksen verkkotunnusta osoittamaan takaisin itseensä.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google hyväksyy crawlertyypeittäin verkkotunnukset googlebot.com, google.com ja googleusercontent.com; yllä oleva funktio hyväksyy vain googlebot.com, jota Googlebot itse käyttää Googlen esimerkeissä. Googlen muille crawlereille ja noutajille käytä sen JSON-listoja. DNS-haut vievät aikaa, joten aja ne lokeja läpikäydessäsi tai tallenna tulos välimuistiin sen sijaan, että tekisit ne jokaiselle reaaliaikaiselle pyynnölle.

Miksi user agent -tarkistus ei riitä GPTBotin tunnistamiseen?

User agent on otsake, jonka asiakas valitsee itse, joten kuka tahansa voi lähettää GPTBotin tai Googlebotin. Common Crawl varoittaa, että jotkin crawlerit väittävät virheellisesti olevansa CCBot, ja Bing julkaisee oppaan sen tarkistamiseen, tuleeko bingbotiksi esittäytyvä liikenne todella Bingiltä. GPTBotin luotettava tunnistaminen tarkoittaa molempien tarkistamista: tokenin user agentissa ja lähde-IP:n tiedostossa gptbot.json. Pyyntö, jossa on token mutta joka tulee listaamattomasta osoitteesta, on jäljittelijä, eikä sen estäminen vaikuta OpenAI:hin.

Myös päinvastaista tapahtuu. Jos palomuurisi sallii pelkän user agentin, jäljittelijät pääsevät sisään; jos se sallii pelkän IP-alueen, mikä tahansa kyseisen yrityksen verkosta tuleva agentti saa saman kohtelun, myös sellainen, jonka halusit estää. Molempien täsmääminen on luotettava sääntö.

Miten AISeeWhy auttaa varmistamaan tekoälycrawlerien liikenteen?

Ilmainen AISeeWhyn tekoälyindeksoijan IP-tarkistus kertoo ilman tiliä, kuuluuko IP-osoite GPTBotille tai muulle tekoälycrawlerille. Ilmainen sivustotarkistus pyytää sitten sivusi 16 tekoäly- ja hakucrawlerina oikean selaimen rinnalla, joten näet, mitä aidot crawlerit saisivat.

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Mikä on GPTBotin user agent?

OpenAI julkaisee merkkijonon Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ja huomauttaa, että versio voi muuttua. Vertaa tokenia GPTBot ja varmista IP osoitteesta https://openai.com/gptbot.json.

Mikä on OAI-SearchBotin user agent?

Chromen kaltainen merkkijono, joka päättyy compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Sen osoitteet on listattu tiedostossa https://openai.com/searchbot.json. OpenAI käyttää sitä sivustojen nostamiseen ChatGPT-haussa, mikä on eri tehtävä kuin GPTBotilla.

Julkaiseeko Anthropic ClaudeBotin IP-osoitteet?

Kyllä. Anthropic linkittää osoitteeseen https://claude.com/crawling/bots.json ja sanoo, että tällä listalla oleva lähde-IP osoittaa crawlerin tulevan Anthropicilta. Sen ohjeartikkeli nimeää bottien tokenit mutta ei täydellisiä user agent -merkkijonoja.

Voinko nähdä Google-Extendedin tai Applebot-Extendedin lokeissani?

Et. Molemmat ovat robots.txt-tokeneita, eivät crawlereita. Google ja Apple noutavat sivut Googlebotilla ja Applebotilla ja käyttävät näitä tokeneita vain ratkaistakseen, miten sisältöä saa käyttää tekoälyyn.

Missä bingbotin IP-osoitelista on?

Bing julkaisee sen osoitteessa https://www.bing.com/toolbox/bingbot.json ja pyytää päivittämään sen päivittäin. Sen oma opas suosittelee käänteistä ja suoraa DNS-tarkistusta, jossa nimen on päätyttävä search.msn.com.

Lähteet

Lisää artikkeleita