User agents en IP-bereiken van AI-crawlers: GPTBot, ClaudeBot, PerplexityBot en meer

Gepubliceerd

Kort antwoord

GPTBot maakt zich bekend met een user agent die GPTBot/1.4; +https://openai.com/gptbot bevat, en OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple en Common Crawl publiceren elk een JSON-lijst met de IP-bereiken die hun crawlers gebruiken. Een verzoek is alleen echt als beide kloppen: de user agent noemt de crawler en het bron-IP staat in de lijst van die leverancier, of komt, voor Googlebot, bingbot, Applebot en CCBot, door een reverse en forward DNS-controle. Een user agent alleen bewijst niets, want iedereen kan hem meesturen.

Als je GPTBot of ClaudeBot in je logs ziet, of een firewallregel wilt die AI-zoekcrawlers doorlaat, heb je twee dingen nodig: de exacte string die elke crawler meestuurt, en een manier om te bewijzen dat een verzoek van het bedrijf komt dat het noemt. Hieronder staan de strings zoals elke leverancier ze vandaag publiceert, de officiële IP-lijst of DNS-methode voor elke crawler, en twee scripts waarmee je een adres kunt controleren.

Op deze pagina
  1. Wat zijn de user-agent-strings van GPTBot, ClaudeBot, PerplexityBot en andere AI-crawlers?
  2. Welke crawler doet wat, en welke namen zijn alleen robots.txt-tokens?
  3. Waar publiceren leveranciers van AI-crawlers hun IP-bereiken?
  4. Hoe controleer ik een IP-adres tegen de officiële crawlerlijsten?
  5. Hoe verifieer ik Googlebot, bingbot of Applebot met reverse DNS?
  6. Waarom is een controle van de user agent niet genoeg om GPTBot te herkennen?
  7. Hoe helpt AISeeWhy bij het verifiëren van verkeer van AI-crawlers?

Wat zijn de user-agent-strings van GPTBot, ClaudeBot, PerplexityBot en andere AI-crawlers?

Deze zijn overgenomen uit de eigen documentatie van de leveranciers. OpenAI en Perplexity merken op dat versienummers kunnen veranderen, Google en Microsoft zetten de huidige browserversie waar W.X.Y.Z staat, en Apple zegt dat het het browserdeel af en toe bijwerkt. Match op het token van de crawler, zoals GPTBot of bingbot, niet op de hele string.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Het helpartikel van Anthropic noemt ClaudeBot, Claude-SearchBot en Claude-User, maar geeft geen volledige user-agent-strings, dus match op die tokens. De crawlerpagina van Meta vermeldt strings die beginnen met de getoonde tokens, gevolgd door een link naar de documentatie, en zegt dat de strings in je logs licht kunnen afwijken.

Welke crawler doet wat, en welke namen zijn alleen robots.txt-tokens?

Twee namen verschijnen nooit in je logs. Google-Extended is een robots.txt-token dat bepaalt of content die Google crawlt mag worden gebruikt voor Gemini-modellen en grounding; Google zegt dat het geen invloed heeft op opname in Google Zoeken. Applebot-Extended is volgens Apple een secundaire user agent die geen webpagina's crawlt; hij bepaalt alleen hoe Apple gegevens mag gebruiken die Applebot heeft verzameld. Een verzoek dat zich als een van beide voordoet, is niet echt.

Waar publiceren leveranciers van AI-crawlers hun IP-bereiken?

De meeste leveranciers publiceren een JSON-bestand met dezelfde opbouw: een array prefixes met objecten met ipv4Prefix of ipv6Prefix, plus een creationTime die laat zien hoe actueel het is.

Hoe controleer ik een IP-adres tegen de officiële crawlerlijsten?

Dit script laadt elke lijst en meldt welke het adres bevat. Het heeft alleen Python 3 nodig en werkt met IPv4 en IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

De lijsten veranderen. Elk bestand heeft een eigen creationTime, Perplexity raadt aan het bijwerken van je firewallregels te automatiseren en Bing vraagt je de lijst dagelijks te verversen. Als je de lijsten in een firewall gebruikt, haal ze dan volgens een schema op in plaats van ze één keer te kopiëren.

Hoe verifieer ik Googlebot, bingbot of Applebot met reverse DNS?

Google, Microsoft, Apple en Common Crawl documenteren dezelfde controle in twee stappen: zoek de naam van het IP-adres op, controleer dat die eindigt op het domein van de leverancier, zoek dan die naam op en controleer dat hij hetzelfde IP teruggeeft. Beide stappen zijn nodig, want wie een IP-bereik beheert, kan elke reverse-DNS-naam instellen die hij wil, maar kan het domein van de leverancier niet naar zijn eigen adres laten wijzen.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google accepteert googlebot.com, google.com en googleusercontent.com voor zijn verschillende soorten crawlers; de functie hierboven accepteert alleen googlebot.com, wat Googlebot zelf in de voorbeelden van Google gebruikt. Gebruik voor de andere crawlers en fetchers van Google de JSON-lijsten. DNS-lookups kosten tijd, dus voer ze uit als je logs doorneemt of sla het resultaat op, in plaats van bij elk live verzoek.

Waarom is een controle van de user agent niet genoeg om GPTBot te herkennen?

De user agent is een header die de client zelf kiest, dus iedereen kan GPTBot of Googlebot meesturen. Common Crawl waarschuwt dat sommige crawlers zich ten onrechte als CCBot voordoen, en Bing publiceert een handleiding om te controleren of verkeer dat zich als bingbot voordoet echt van Bing komt. GPTBot betrouwbaar herkennen betekent beide controleren: het token in de user agent en het bron-IP in gptbot.json. Een verzoek met het token vanaf een adres dat niet op de lijst staat, is een imitator, en het blokkeren ervan heeft geen invloed op OpenAI.

Het omgekeerde komt ook voor. Als je firewall alleen op user agent toelaat, komen imitators binnen; als hij alleen op IP-bereik toelaat, krijgt elke agent uit het netwerk van die leverancier dezelfde behandeling, ook een agent die je wilde blokkeren. Op beide matchen is de betrouwbare regel.

Hoe helpt AISeeWhy bij het verifiëren van verkeer van AI-crawlers?

De gratis IP-controle voor AI-crawlers van AISeeWhy vertelt je zonder account of een IP-adres bij GPTBot of een andere AI-crawler hoort. De gratis sitecontrole vraagt daarna je pagina op als 16 AI- en zoekcrawlers naast een echte browser, zodat je ziet wat de echte crawlers zouden ontvangen.

Gratis tools

Volgende stappen

Crawlers in dit artikel

Veelgestelde vragen

Wat is de user agent van GPTBot?

OpenAI publiceert Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot en merkt op dat de versie kan veranderen. Match op GPTBot en controleer het IP tegen https://openai.com/gptbot.json.

Wat is de user agent van OAI-SearchBot?

Een string in Chrome-stijl die eindigt op compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. De adressen staan in https://openai.com/searchbot.json. OpenAI gebruikt hem om sites te tonen in ChatGPT-zoeken, een andere taak dan die van GPTBot.

Publiceert Anthropic de IP-adressen van ClaudeBot?

Ja. Anthropic linkt naar https://claude.com/crawling/bots.json en zegt dat een bron-IP op die lijst aantoont dat de crawler van Anthropic komt. Het helpartikel noemt de bottokens, maar geen volledige user-agent-strings.

Kan ik Google-Extended of Applebot-Extended in mijn logs zien?

Nee. Beide zijn robots.txt-tokens, geen crawlers. Google en Apple halen pagina's op met Googlebot en Applebot en gebruiken deze tokens alleen om te bepalen hoe de content voor AI mag worden gebruikt.

Waar staat de lijst met IP-adressen van bingbot?

Bing publiceert hem op https://www.bing.com/toolbox/bingbot.json en vraagt je hem dagelijks te verversen. De eigen handleiding raadt de reverse en forward DNS-controle aan, waarbij de naam moet eindigen op search.msn.com.

Bronnen

Meer artikelen