User agents og IP-intervaller for AI-crawlere: GPTBot, ClaudeBot, PerplexityBot og flere

Udgivet

Kort svar

GPTBot identificerer sig med en user agent, der indeholder GPTBot/1.4; +https://openai.com/gptbot, og OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple og Common Crawl offentliggør hver en JSON-liste over de IP-intervaller, deres crawlere bruger. En forespørgsel er kun ægte, når begge dele passer: user agenten nævner crawleren, og kilde-IP'en står på leverandørens liste eller, for Googlebot, bingbot, Applebot og CCBot, består et omvendt og fremadrettet DNS-tjek. En user agent alene beviser intet, for alle kan sende den.

Når du ser GPTBot eller ClaudeBot i dine logfiler eller vil have en firewallregel, der lukker AI-søgecrawlere igennem, har du brug for to ting: den præcise streng, hver crawler sender, og en måde at bevise, at en forespørgsel kom fra den virksomhed, den nævner. Nedenfor står strengene, som hver leverandør offentliggør dem i dag, den officielle IP-liste eller DNS-metode for hver og to scripts, du kan køre for at tjekke en adresse.

På denne side
  1. Hvad er user agent-strengene for GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?
  2. Hvilken crawler gør hvad, og hvilke navne er kun robots.txt-tokens?
  3. Hvor offentliggør leverandørerne IP-intervallerne for deres AI-crawlere?
  4. Hvordan tjekker jeg en IP-adresse mod de officielle crawlerlister?
  5. Hvordan verificerer jeg Googlebot, bingbot eller Applebot med omvendt DNS?
  6. Hvorfor er et tjek af user agenten ikke nok til at genkende GPTBot?
  7. Hvordan kan AISeeWhy hjælpe med at verificere trafik fra AI-crawlere?

Hvad er user agent-strengene for GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?

De er kopieret fra leverandørernes egen dokumentation. OpenAI og Perplexity bemærker, at versionsnumre kan ændre sig, Google og Microsoft indsætter den aktuelle browserversion, hvor W.X.Y.Z står, og Apple siger, at browserdelen af og til opdateres. Match på crawlerens token, f.eks. GPTBot eller bingbot, ikke på hele strengen.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropics hjælpeartikel nævner ClaudeBot, Claude-SearchBot og Claude-User, men gengiver ikke fulde user agent-strenge, så match på de tokens. Metas crawlerside angiver strenge, der begynder med de viste tokens efterfulgt af et link til dens dokumentation, og siger, at strengene i dine logfiler kan variere en smule.

Hvilken crawler gør hvad, og hvilke navne er kun robots.txt-tokens?

To navne optræder aldrig i dine logfiler. Google-Extended er et robots.txt-token, der styrer, om indhold, Google crawler, må bruges til Gemini-modeller og grounding; Google siger, at det ikke påvirker medtagelse i Google Søgning. Applebot-Extended er med Apples ord en sekundær user agent, der ikke crawler websider; den afgør kun, hvordan Apple må bruge data, som Applebot har indsamlet. En forespørgsel, der udgiver sig for at være en af dem, er ikke ægte.

Hvor offentliggør leverandørerne IP-intervallerne for deres AI-crawlere?

De fleste leverandører offentliggør en JSON-fil med samme opbygning: et prefixes-array af objekter med ipv4Prefix eller ipv6Prefix plus en creationTime, der fortæller, hvor frisk den er.

Hvordan tjekker jeg en IP-adresse mod de officielle crawlerlister?

Dette script indlæser hver liste og oplyser, hvilken der indeholder adressen. Det kræver kun Python 3 og håndterer både IPv4 og IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Listerne ændrer sig. Hver fil har sin egen creationTime, Perplexity anbefaler at automatisere opdateringer af dine firewallregler, og Bing beder dig opdatere sin liste dagligt. Hvis du bruger listerne i en firewall, så hent dem efter en tidsplan i stedet for at kopiere dem én gang.

Hvordan verificerer jeg Googlebot, bingbot eller Applebot med omvendt DNS?

Google, Microsoft, Apple og Common Crawl dokumenterer det samme tjek i to trin: slå IP-adressens navn op, bekræft, at det ender på leverandørens domæne, slå derefter navnet op, og bekræft, at det giver den samme IP. Begge trin er vigtige, for den, der kontrollerer et IP-interval, kan sætte et hvilket som helst omvendt DNS-navn, men kan ikke få leverandørens domæne til at pege tilbage på det.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google accepterer googlebot.com, google.com og googleusercontent.com på tværs af sine crawlertyper; funktionen ovenfor accepterer kun googlebot.com, som er det, Googlebot selv bruger i Googles eksempler. Til Googles andre crawlere og hentere skal du bruge dens JSON-lister. DNS-opslag tager tid, så kør dem, når du gennemgår logfiler, eller cache resultatet i stedet for at gøre det ved hver forespørgsel i realtid.

Hvorfor er et tjek af user agenten ikke nok til at genkende GPTBot?

User agenten er en header, som klienten selv vælger, så alle kan sende GPTBot eller Googlebot. Common Crawl advarer om, at nogle crawlere fejlagtigt udgiver sig for at være CCBot, og Bing offentliggør en guide til at tjekke, om trafik, der påstår at være bingbot, virkelig kommer fra Bing. At genkende GPTBot pålideligt betyder, at du tjekker begge dele: tokenet i user agenten og kilde-IP'en i gptbot.json. En forespørgsel med tokenet fra en adresse, der ikke står på listen, er en efterligning, og at blokere den påvirker ikke OpenAI.

Det omvendte sker også. Hvis din firewall kun tillader en user agent, slipper efterligninger ind; hvis den kun tillader et IP-interval, får enhver agent fra leverandørens netværk samme behandling, også en, du ville blokere. At matche begge dele er den pålidelige regel.

Hvordan kan AISeeWhy hjælpe med at verificere trafik fra AI-crawlere?

Det gratis IP-tjek for AI-crawlere fra AISeeWhy fortæller dig uden konto, om en IP-adresse tilhører GPTBot eller en anden AI-crawler. Det gratis tjek af websitet henter derefter din side som 16 AI- og søgecrawlere ved siden af en rigtig browser, så du kan se, hvad de ægte crawlere ville modtage.

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Ofte stillede spørgsmål

Hvad er GPTBots user agent?

OpenAI offentliggør Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot og bemærker, at versionen kan ændre sig. Match på GPTBot, og bekræft IP'en mod https://openai.com/gptbot.json.

Hvad er OAI-SearchBots user agent?

En streng i Chrome-stil, der ender på compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Dens adresser står i https://openai.com/searchbot.json. OpenAI bruger den til at vise websites i ChatGPT-søgning, hvilket er en anden opgave end den, GPTBot har.

Offentliggør Anthropic ClaudeBots IP-adresser?

Ja. Anthropic linker til https://claude.com/crawling/bots.json og siger, at en kilde-IP på den liste viser, at crawleren kommer fra Anthropic. Dens hjælpeartikel nævner bot-tokens, men ikke fulde user agent-strenge.

Kan jeg se Google-Extended eller Applebot-Extended i mine logfiler?

Nej. Begge er robots.txt-tokens, ikke crawlere. Google og Apple henter sider med Googlebot og Applebot og bruger kun disse tokens til at afgøre, hvordan indholdet må bruges til AI.

Hvor er listen over bingbots IP-adresser?

Bing offentliggør den på https://www.bing.com/toolbox/bingbot.json og beder dig opdatere den dagligt. Dens egen guide anbefaler det omvendte og fremadrettede DNS-tjek, hvor navnet skal ende på search.msn.com.

Kilder

Flere artikler