User agents en IP-bereiken van AI-crawlers: GPTBot, ClaudeBot, PerplexityBot en meer
GPTBot maakt zich bekend met een user agent die GPTBot/1.4; +https://openai.com/gptbot bevat, en OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple en Common Crawl publiceren elk een JSON-lijst met de IP-bereiken die hun crawlers gebruiken. Een verzoek is alleen echt als beide kloppen: de user agent noemt de crawler en het bron-IP staat in de lijst van die leverancier, of komt, voor Googlebot, bingbot, Applebot en CCBot, door een reverse en forward DNS-controle. Een user agent alleen bewijst niets, want iedereen kan hem meesturen.
Als je GPTBot of ClaudeBot in je logs ziet, of een firewallregel wilt die AI-zoekcrawlers doorlaat, heb je twee dingen nodig: de exacte string die elke crawler meestuurt, en een manier om te bewijzen dat een verzoek van het bedrijf komt dat het noemt. Hieronder staan de strings zoals elke leverancier ze vandaag publiceert, de officiële IP-lijst of DNS-methode voor elke crawler, en twee scripts waarmee je een adres kunt controleren.
Op deze pagina
- Wat zijn de user-agent-strings van GPTBot, ClaudeBot, PerplexityBot en andere AI-crawlers?
- Welke crawler doet wat, en welke namen zijn alleen robots.txt-tokens?
- Waar publiceren leveranciers van AI-crawlers hun IP-bereiken?
- Hoe controleer ik een IP-adres tegen de officiële crawlerlijsten?
- Hoe verifieer ik Googlebot, bingbot of Applebot met reverse DNS?
- Waarom is een controle van de user agent niet genoeg om GPTBot te herkennen?
- Hoe helpt AISeeWhy bij het verifiëren van verkeer van AI-crawlers?
Wat zijn de user-agent-strings van GPTBot, ClaudeBot, PerplexityBot en andere AI-crawlers?
Deze zijn overgenomen uit de eigen documentatie van de leveranciers. OpenAI en Perplexity merken op dat versienummers kunnen veranderen, Google en Microsoft zetten de huidige browserversie waar W.X.Y.Z staat, en Apple zegt dat het het browserdeel af en toe bijwerkt. Match op het token van de crawler, zoals GPTBot of bingbot, niet op de hele string.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Het helpartikel van Anthropic noemt ClaudeBot, Claude-SearchBot en Claude-User, maar geeft geen volledige user-agent-strings, dus match op die tokens. De crawlerpagina van Meta vermeldt strings die beginnen met de getoonde tokens, gevolgd door een link naar de documentatie, en zegt dat de strings in je logs licht kunnen afwijken.
Welke crawler doet wat, en welke namen zijn alleen robots.txt-tokens?
GPTBotverzamelt content die kan worden gebruikt om de basismodellen van OpenAI te trainen.OAI-SearchBottoont sites in ChatGPT-zoeken.ChatGPT-Userhaalt pagina's op voor acties die een gebruiker start, en OpenAI zegt dat robots.txt-regels er mogelijk niet voor gelden.OAI-AdsBotcontroleert pagina's die als ChatGPT-advertentie zijn ingediend.ClaudeBotverzamelt gegevens voor de modellen van Anthropic,Claude-SearchBotverbetert zoekresultaten enClaude-Userhaalt pagina's op als iemand Claude een vraag stelt.PerplexityBottoont en linkt sites in Perplexity-zoeken en wordt niet gebruikt om basismodellen te trainen.Perplexity-Userhaalt pagina's op als een gebruiker een vraag stelt.meta-externalagentcrawlt om AI-modellen te trainen of content te indexeren,meta-webindexerindexeert content voor het zoeken van Meta AI enmeta-externalfetcherhaalt links op op verzoek van een gebruiker.CCBotis de crawler van Common Crawl, een openbaar webarchief.
Twee namen verschijnen nooit in je logs. Google-Extended is een robots.txt-token dat bepaalt of content die Google crawlt mag worden gebruikt voor Gemini-modellen en grounding; Google zegt dat het geen invloed heeft op opname in Google Zoeken. Applebot-Extended is volgens Apple een secundaire user agent die geen webpagina's crawlt; hij bepaalt alleen hoe Apple gegevens mag gebruiken die Applebot heeft verzameld. Een verzoek dat zich als een van beide voordoet, is niet echt.
Waar publiceren leveranciers van AI-crawlers hun IP-bereiken?
De meeste leveranciers publiceren een JSON-bestand met dezelfde opbouw: een array prefixes met objecten met ipv4Prefix of ipv6Prefix, plus een creationTime die laat zien hoe actueel het is.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonenhttps://openai.com/adsbot.json, één per agent. - Anthropic:
https://claude.com/crawling/bots.json, één lijst voor zijn crawlers. Anthropic zegt dat een adres op deze lijst aantoont dat de crawler van Anthropic komt, en ook dat blokkeren op IP een opt-out mogelijk niet betrouwbaar garandeert. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonenhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonvoor Googlebot, met aparte bestanden voor speciale crawlers en door gebruikers gestarte fetchers. Reverse DNS werkt ook. - Apple:
https://search.developer.apple.com/applebot.json, of reverse DNS inapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Voor IPv4 raadt het ook forward-bevestigde reverse DNS ondercrawl.commoncrawl.orgaan; IPv6-adressen hebben geen reverse DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, waarvan Bing vraagt het dagelijks te verversen omdat het op elk moment kan veranderen, of reverse DNS die eindigt opsearch.msn.com. Bing biedt ook een openbare tool Verify Bingbot. - Meta: de crawlerpagina publiceert geen IP-lijst.
Hoe controleer ik een IP-adres tegen de officiële crawlerlijsten?
Dit script laadt elke lijst en meldt welke het adres bevat. Het heeft alleen Python 3 nodig en werkt met IPv4 en IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF De lijsten veranderen. Elk bestand heeft een eigen creationTime, Perplexity raadt aan het bijwerken van je firewallregels te automatiseren en Bing vraagt je de lijst dagelijks te verversen. Als je de lijsten in een firewall gebruikt, haal ze dan volgens een schema op in plaats van ze één keer te kopiëren.
Hoe verifieer ik Googlebot, bingbot of Applebot met reverse DNS?
Google, Microsoft, Apple en Common Crawl documenteren dezelfde controle in twee stappen: zoek de naam van het IP-adres op, controleer dat die eindigt op het domein van de leverancier, zoek dan die naam op en controleer dat hij hetzelfde IP teruggeeft. Beide stappen zijn nodig, want wie een IP-bereik beheert, kan elke reverse-DNS-naam instellen die hij wil, maar kan het domein van de leverancier niet naar zijn eigen adres laten wijzen.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google accepteert googlebot.com, google.com en googleusercontent.com voor zijn verschillende soorten crawlers; de functie hierboven accepteert alleen googlebot.com, wat Googlebot zelf in de voorbeelden van Google gebruikt. Gebruik voor de andere crawlers en fetchers van Google de JSON-lijsten. DNS-lookups kosten tijd, dus voer ze uit als je logs doorneemt of sla het resultaat op, in plaats van bij elk live verzoek.
Waarom is een controle van de user agent niet genoeg om GPTBot te herkennen?
De user agent is een header die de client zelf kiest, dus iedereen kan GPTBot of Googlebot meesturen. Common Crawl waarschuwt dat sommige crawlers zich ten onrechte als CCBot voordoen, en Bing publiceert een handleiding om te controleren of verkeer dat zich als bingbot voordoet echt van Bing komt. GPTBot betrouwbaar herkennen betekent beide controleren: het token in de user agent en het bron-IP in gptbot.json. Een verzoek met het token vanaf een adres dat niet op de lijst staat, is een imitator, en het blokkeren ervan heeft geen invloed op OpenAI.
Het omgekeerde komt ook voor. Als je firewall alleen op user agent toelaat, komen imitators binnen; als hij alleen op IP-bereik toelaat, krijgt elke agent uit het netwerk van die leverancier dezelfde behandeling, ook een agent die je wilde blokkeren. Op beide matchen is de betrouwbare regel.
Hoe helpt AISeeWhy bij het verifiëren van verkeer van AI-crawlers?
De gratis IP-controle voor AI-crawlers van AISeeWhy vertelt je zonder account of een IP-adres bij GPTBot of een andere AI-crawler hoort. De gratis sitecontrole vraagt daarna je pagina op als 16 AI- en zoekcrawlers naast een echte browser, zodat je ziet wat de echte crawlers zouden ontvangen.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- IP-controle voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Wat is de user agent van GPTBot?
OpenAI publiceert Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot en merkt op dat de versie kan veranderen. Match op GPTBot en controleer het IP tegen https://openai.com/gptbot.json.
Wat is de user agent van OAI-SearchBot?
Een string in Chrome-stijl die eindigt op compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. De adressen staan in https://openai.com/searchbot.json. OpenAI gebruikt hem om sites te tonen in ChatGPT-zoeken, een andere taak dan die van GPTBot.
Publiceert Anthropic de IP-adressen van ClaudeBot?
Ja. Anthropic linkt naar https://claude.com/crawling/bots.json en zegt dat een bron-IP op die lijst aantoont dat de crawler van Anthropic komt. Het helpartikel noemt de bottokens, maar geen volledige user-agent-strings.
Kan ik Google-Extended of Applebot-Extended in mijn logs zien?
Nee. Beide zijn robots.txt-tokens, geen crawlers. Google en Apple halen pagina's op met Googlebot en Applebot en gebruiken deze tokens alleen om te bepalen hoe de content voor AI mag worden gebruikt.
Waar staat de lijst met IP-adressen van bingbot?
Bing publiceert hem op https://www.bing.com/toolbox/bingbot.json en vraagt je hem dagelijks te verversen. De eigen handleiding raadt de reverse en forward DNS-controle aan, waarbij de naam moet eindigen op search.msn.com.
Bronnen
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot