User agents og IP-områder for AI-crawlere: GPTBot, ClaudeBot, PerplexityBot med flere

Publisert

Kort svar

GPTBot identifiserer seg med en user agent som inneholder GPTBot/1.4; +https://openai.com/gptbot, og OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple og Common Crawl publiserer hver sin JSON-liste over IP-områdene crawlerne deres bruker. En forespørsel er ekte bare når begge stemmer: user agent-en nevner crawleren, og kilde-IP-en står i leverandørens liste eller, for Googlebot, bingbot, Applebot og CCBot, består en omvendt og fremover DNS-sjekk. En user agent alene beviser ingenting, fordi hvem som helst kan sende den.

Når du ser GPTBot eller ClaudeBot i loggene dine, eller vil ha en brannmurregel som slipper AI-søkecrawlere gjennom, trenger du to ting: den nøyaktige strengen hver crawler sender, og en måte å bevise at en forespørsel kom fra selskapet den nevner. Nedenfor finner du strengene slik hver leverandør publiserer dem i dag, den offisielle IP-listen eller DNS-metoden for hver av dem, og to skript du kan kjøre for å sjekke en adresse.

På denne siden
  1. Hva er user agent-strengene til GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?
  2. Hvilken crawler gjør hva, og hvilke navn er bare robots.txt-tokener?
  3. Hvor publiserer leverandørene av AI-crawlere IP-områdene sine?
  4. Hvordan sjekker jeg en IP-adresse mot de offisielle crawlerlistene?
  5. Hvordan verifiserer jeg Googlebot, bingbot eller Applebot med omvendt DNS?
  6. Hvorfor er ikke en sjekk av user agent nok til å oppdage GPTBot?
  7. Hvordan kan AISeeWhy hjelpe med å verifisere trafikk fra AI-crawlere?

Hva er user agent-strengene til GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?

Disse er kopiert fra leverandørenes egen dokumentasjon. OpenAI og Perplexity påpeker at versjonsnumre kan endres, Google og Microsoft setter inn gjeldende nettleserversjon der W.X.Y.Z står, og Apple sier at nettleserdelen oppdateres av og til. Match på crawlerens token, som GPTBot eller bingbot, ikke på hele strengen.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Hjelpeartikkelen fra Anthropic nevner ClaudeBot, Claude-SearchBot og Claude-User, men skriver ikke ut fullstendige user agent-strenger, så match på disse tokenene. Metas side om crawlere viser strenger som begynner med tokenene som er vist, etterfulgt av en lenke til dokumentasjonen, og sier at strengene loggene dine viser, kan variere litt.

Hvilken crawler gjør hva, og hvilke navn er bare robots.txt-tokener?

To navn dukker aldri opp i loggene dine. Google-Extended er et robots.txt-token som styrer om innhold Google gjennomsøker, kan brukes til Gemini-modeller og forankring (grounding); Google sier at det ikke påvirker om du er med i Google Søk. Applebot-Extended er, med Apples ord, en sekundær user agent som ikke gjennomsøker nettsider; den avgjør bare hvordan Apple kan bruke data som Applebot har samlet inn. En forespørsel som utgir seg for å være en av dem, er ikke ekte.

Hvor publiserer leverandørene av AI-crawlere IP-områdene sine?

De fleste leverandører publiserer en JSON-fil med samme form: en prefixes-matrise med objekter som har ipv4Prefix eller ipv6Prefix, pluss en creationTime som viser hvor fersk den er.

Hvordan sjekker jeg en IP-adresse mot de offisielle crawlerlistene?

Dette skriptet laster hver liste og forteller hvilken som inneholder adressen. Det trenger bare Python 3, og det håndterer IPv4 og IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Listene endres. Hver fil har sin egen creationTime, Perplexity anbefaler å automatisere oppdateringer av brannmurreglene, og Bing ber deg oppdatere listen daglig. Hvis du bruker listene i en brannmur, henter du dem etter en fast plan i stedet for å kopiere dem én gang.

Hvordan verifiserer jeg Googlebot, bingbot eller Applebot med omvendt DNS?

Google, Microsoft, Apple og Common Crawl dokumenterer den samme sjekken i to steg: slå opp navnet til IP-adressen, bekreft at det slutter på leverandørens domene, slå deretter opp det navnet og bekreft at det gir samme IP. Begge stegene er viktige, fordi den som kontrollerer et IP-område, kan sette hvilket omvendt DNS-navn som helst, men ikke kan få leverandørens domene til å peke tilbake til det.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google godtar googlebot.com, google.com og googleusercontent.com på tvers av crawlertypene sine; funksjonen over godtar bare googlebot.com, som er det Googlebot selv bruker i Googles eksempler. For Googles andre crawlere og hentere bruker du JSON-listene. DNS-oppslag tar tid, så kjør dem når du går gjennom logger, eller bufre resultatet, i stedet for ved hver live forespørsel.

Hvorfor er ikke en sjekk av user agent nok til å oppdage GPTBot?

User agent er en header klienten selv velger, så hvem som helst kan sende GPTBot eller Googlebot. Common Crawl advarer om at noen crawlere falskt utgir seg for å være CCBot, og Bing publiserer en veiledning for å sjekke om trafikk som utgir seg for å være bingbot, virkelig kommer fra Bing. For å oppdage GPTBot pålitelig må du sjekke begge deler: tokenet i user agent-en og kilde-IP-en i gptbot.json. En forespørsel med tokenet fra en adresse som ikke står på listen, er en etterligning, og å blokkere den påvirker ikke OpenAI.

Det motsatte skjer også. Hvis brannmuren bare tillater en user agent, slipper etterligninger inn; hvis den bare tillater et IP-område, får alle agenter fra leverandørens nettverk samme behandling, også en du ville blokkere. Å matche begge er den pålitelige regelen.

Hvordan kan AISeeWhy hjelpe med å verifisere trafikk fra AI-crawlere?

Den gratis IP-sjekken for AI-crawlere fra AISeeWhy forteller deg, uten konto, om en IP-adresse tilhører GPTBot eller en annen AI-crawler. Den gratis nettstedssjekken ber deretter om siden din som 16 AI- og søkecrawlere ved siden av en ekte nettleser, slik at du kan se hva de ekte crawlerne ville fått.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Hva er user agent-en til GPTBot?

OpenAI publiserer Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot og påpeker at versjonen kan endres. Match på GPTBot og bekreft IP-en mot https://openai.com/gptbot.json.

Hva er user agent-en til OAI-SearchBot?

En streng i Chrome-stil som slutter på compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Adressene står i https://openai.com/searchbot.json. OpenAI bruker den til å vise nettsteder i søk i ChatGPT, som er en annen jobb enn den GPTBot gjør.

Publiserer Anthropic IP-adressene til ClaudeBot?

Ja. Anthropic lenker til https://claude.com/crawling/bots.json og sier at en kilde-IP på den listen viser at crawleren kommer fra Anthropic. Hjelpeartikkelen nevner bot-tokenene, men ikke fullstendige user agent-strenger.

Kan jeg se Google-Extended eller Applebot-Extended i loggene mine?

Nei. Begge er robots.txt-tokener, ikke crawlere. Google og Apple henter sider med Googlebot og Applebot og bruker disse tokenene bare til å avgjøre hvordan innholdet kan brukes til AI.

Hvor finner jeg listen over IP-adresser for bingbot?

Bing publiserer den på https://www.bing.com/toolbox/bingbot.json og ber deg oppdatere den daglig. Bings egen veiledning anbefaler omvendt og fremover DNS-sjekk, der navnet må slutte på search.msn.com.

Kilder

Flere artikler