User-Agents und IP-Bereiche von KI-Crawlern: GPTBot, ClaudeBot, PerplexityBot und mehr

Veröffentlicht

Kurz gesagt

GPTBot gibt sich mit einem User-Agent zu erkennen, der GPTBot/1.4; +https://openai.com/gptbot enthält, und OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple und Common Crawl veröffentlichen jeweils eine JSON-Liste der IP-Bereiche, die ihre Crawler nutzen. Eine Anfrage ist nur echt, wenn beides passt: Der User-Agent nennt den Crawler, und die Quell-IP steht in der Liste des Anbieters oder besteht, bei Googlebot, bingbot, Applebot und CCBot, eine Reverse- und Forward-DNS-Prüfung. Ein User-Agent allein beweist nichts, denn jeder kann ihn senden.

Wenn Sie GPTBot oder ClaudeBot in Ihren Logs sehen oder eine Firewall-Regel brauchen, die KI-Such-Crawler durchlässt, brauchen Sie zweierlei: den genauen String, den jeder Crawler sendet, und einen Weg zu beweisen, dass eine Anfrage von dem Unternehmen kommt, das sie nennt. Unten finden Sie die Strings, wie jeder Anbieter sie heute veröffentlicht, die offizielle IP-Liste oder DNS-Methode für jeden und zwei Skripte, mit denen Sie eine Adresse prüfen können.

Auf dieser Seite
  1. Wie lauten die User-Agent-Strings von GPTBot, ClaudeBot, PerplexityBot und anderen KI-Crawlern?
  2. Welcher Crawler macht was, und welche Namen sind nur robots.txt-Tokens?
  3. Wo veröffentlichen die Anbieter von KI-Crawlern ihre IP-Bereiche?
  4. Wie gleiche ich eine IP-Adresse mit den offiziellen Crawler-Listen ab?
  5. Wie verifiziere ich Googlebot, bingbot oder Applebot per Reverse DNS?
  6. Warum reicht eine Prüfung des User-Agents nicht aus, um GPTBot zu erkennen?
  7. Wie hilft AISeeWhy, den Traffic von KI-Crawlern zu verifizieren?

Wie lauten die User-Agent-Strings von GPTBot, ClaudeBot, PerplexityBot und anderen KI-Crawlern?

Sie stammen aus der Dokumentation der Anbieter selbst. OpenAI und Perplexity weisen darauf hin, dass sich Versionsnummern ändern können, Google und Microsoft setzen die aktuelle Browserversion dort ein, wo W.X.Y.Z steht, und Apple sagt, dass es den Browser-Teil gelegentlich aktualisiert. Gleichen Sie das Crawler-Token ab, etwa GPTBot oder bingbot, nicht den ganzen String.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Der Hilfeartikel von Anthropic nennt ClaudeBot, Claude-SearchBot und Claude-User, gibt aber keine vollständigen User-Agent-Strings an; gleichen Sie also diese Tokens ab. Die Crawler-Seite von Meta führt Strings auf, die mit den gezeigten Tokens beginnen und von einem Link zur Dokumentation gefolgt werden, und sagt, dass die Strings in Ihren Logs leicht abweichen können.

Welcher Crawler macht was, und welche Namen sind nur robots.txt-Tokens?

Zwei Namen tauchen nie in Ihren Logs auf. Google-Extended ist ein robots.txt-Token, das steuert, ob von Google gecrawlte Inhalte für Gemini-Modelle und Grounding verwendet werden dürfen; laut Google beeinflusst es die Aufnahme in die Google-Suche nicht. Applebot-Extended ist, in Apples Worten, ein sekundärer User-Agent, der keine Webseiten crawlt; er entscheidet nur, wie Apple Daten verwenden darf, die Applebot gesammelt hat. Eine Anfrage, die sich als einer der beiden ausgibt, ist nicht echt.

Wo veröffentlichen die Anbieter von KI-Crawlern ihre IP-Bereiche?

Die meisten Anbieter veröffentlichen eine JSON-Datei mit derselben Struktur: ein Array prefixes aus Objekten mit ipv4Prefix oder ipv6Prefix, dazu eine creationTime, die zeigt, wie aktuell sie ist.

Wie gleiche ich eine IP-Adresse mit den offiziellen Crawler-Listen ab?

Dieses Skript lädt jede Liste und meldet, welche die Adresse enthält. Es braucht nur Python 3 und verarbeitet IPv4 und IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Die Listen ändern sich. Jede Datei trägt ihre eigene creationTime, Perplexity empfiehlt, die Aktualisierung Ihrer Firewall-Regeln zu automatisieren, und Bing bittet Sie, seine Liste täglich neu zu laden. Wenn Sie die Listen in einer Firewall verwenden, rufen Sie sie regelmäßig ab, statt sie einmal zu kopieren.

Wie verifiziere ich Googlebot, bingbot oder Applebot per Reverse DNS?

Google, Microsoft, Apple und Common Crawl dokumentieren dieselbe zweistufige Prüfung: den Namen zur IP-Adresse nachschlagen, bestätigen, dass er auf die Domain des Anbieters endet, und dann diesen Namen nachschlagen und bestätigen, dass er dieselbe IP zurückgibt. Beide Schritte sind nötig, denn wer einen IP-Bereich kontrolliert, kann jeden beliebigen Reverse-DNS-Namen setzen, aber nicht dafür sorgen, dass die Domain des Anbieters auf ihn zurückzeigt.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google akzeptiert über seine Crawler-Typen hinweg googlebot.com, google.com und googleusercontent.com; die Funktion oben akzeptiert nur googlebot.com, was Googlebot selbst in Googles Beispielen verwendet. Für Googles andere Crawler und Fetcher nutzen Sie die JSON-Listen. DNS-Abfragen brauchen Zeit; führen Sie sie also bei der Auswertung der Logs aus oder speichern Sie das Ergebnis zwischen, statt sie bei jeder Live-Anfrage auszuführen.

Warum reicht eine Prüfung des User-Agents nicht aus, um GPTBot zu erkennen?

Der User-Agent ist ein Header, den der Client selbst wählt; jeder kann also GPTBot oder Googlebot senden. Common Crawl warnt, dass manche Crawler sich fälschlich als CCBot ausgeben, und Bing veröffentlicht eine Anleitung, um zu prüfen, ob Traffic, der sich als bingbot ausgibt, wirklich von Bing kommt. GPTBot zuverlässig zu erkennen heißt, beides zu prüfen: das Token im User-Agent und die Quell-IP in gptbot.json. Eine Anfrage mit dem Token von einer nicht gelisteten Adresse stammt von einem Nachahmer, und ihn zu blockieren betrifft OpenAI nicht.

Auch das Umgekehrte kommt vor. Lässt Ihre Firewall nur einen User-Agent zu, kommen Nachahmer herein; lässt sie nur einen IP-Bereich zu, wird jeder Agent aus dem Netz dieses Anbieters gleich behandelt, auch einer, den Sie sperren wollten. Beides abzugleichen ist die verlässliche Regel.

Wie hilft AISeeWhy, den Traffic von KI-Crawlern zu verifizieren?

Die kostenlose IP-Prüfung für KI-Crawler von AISeeWhy zeigt Ihnen ohne Konto, ob eine IP-Adresse zu GPTBot oder einem anderen KI-Crawler gehört. Die kostenlose Website-Prüfung fragt Ihre Seite dann als 16 KI- und Such-Crawler neben einem echten Browser an, sodass Sie sehen, was die echten Crawler erhalten würden.

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Wie lautet der User-Agent von GPTBot?

OpenAI veröffentlicht Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot und weist darauf hin, dass sich die Version ändern kann. Gleichen Sie GPTBot ab und bestätigen Sie die IP anhand von https://openai.com/gptbot.json.

Wie lautet der User-Agent von OAI-SearchBot?

Ein String im Chrome-Stil, der mit compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot endet. Seine Adressen stehen in https://openai.com/searchbot.json. OpenAI nutzt ihn, um Websites in der ChatGPT-Suche anzuzeigen, eine andere Aufgabe als die von GPTBot.

Veröffentlicht Anthropic die IP-Adressen von ClaudeBot?

Ja. Anthropic verlinkt auf https://claude.com/crawling/bots.json und sagt, dass eine Quell-IP auf dieser Liste zeigt, dass der Crawler von Anthropic stammt. Der Hilfeartikel nennt die Bot-Tokens, aber keine vollständigen User-Agent-Strings.

Kann ich Google-Extended oder Applebot-Extended in meinen Logs sehen?

Nein. Beide sind robots.txt-Tokens, keine Crawler. Google und Apple rufen Seiten mit Googlebot und Applebot ab und nutzen diese Tokens nur, um zu entscheiden, wie die Inhalte für KI verwendet werden dürfen.

Wo finde ich die IP-Liste von bingbot?

Bing veröffentlicht sie unter https://www.bing.com/toolbox/bingbot.json und bittet Sie, sie täglich neu zu laden. Die eigene Anleitung von Bing empfiehlt die Reverse- und Forward-DNS-Prüfung, bei der der Name auf search.msn.com enden muss.

Quellen

Weitere Artikel