User agents et plages d'IP des robots d'IA : GPTBot, ClaudeBot, PerplexityBot et les autres
GPTBot s'identifie avec un user agent qui contient GPTBot/1.4; +https://openai.com/gptbot, et OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple et Common Crawl publient chacun une liste JSON des plages d'IP utilisées par leurs robots. Une requête n'est authentique que si les deux concordent : le user agent nomme le robot et l'IP source figure dans la liste de l'éditeur ou, pour Googlebot, bingbot, Applebot et CCBot, passe une vérification DNS inverse puis directe. Un user agent seul ne prouve rien, car n'importe qui peut l'envoyer.
Quand vous voyez GPTBot ou ClaudeBot dans vos journaux, ou quand vous voulez une règle de pare-feu qui laisse passer les robots de recherche IA, il vous faut deux choses : la chaîne exacte qu'envoie chaque robot, et un moyen de prouver qu'une requête vient bien de l'entreprise qu'elle nomme. Voici les chaînes telles que chaque éditeur les publie aujourd'hui, la liste d'IP officielle ou la méthode DNS de chacun, et deux scripts pour vérifier une adresse.
Sur cette page
- Quels sont les user agents de GPTBot, ClaudeBot, PerplexityBot et des autres robots d'IA ?
- Quel robot fait quoi, et quels noms ne sont que des jetons robots.txt ?
- Où les éditeurs de robots d'IA publient-ils leurs plages d'IP ?
- Comment vérifier une adresse IP dans les listes officielles des robots ?
- Comment vérifier Googlebot, bingbot ou Applebot par DNS inverse ?
- Pourquoi vérifier le user agent ne suffit-il pas pour détecter GPTBot ?
- Comment AISeeWhy aide-t-il à vérifier le trafic des robots d'IA ?
Quels sont les user agents de GPTBot, ClaudeBot, PerplexityBot et des autres robots d'IA ?
Ils sont copiés de la documentation des éditeurs eux-mêmes. OpenAI et Perplexity notent que les numéros de version peuvent changer, Google et Microsoft mettent la version actuelle du navigateur à la place de W.X.Y.Z, et Apple indique qu'il met parfois à jour la partie navigateur. Faites la correspondance sur le jeton du robot, comme GPTBot ou bingbot, pas sur la chaîne entière.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 L'article d'aide d'Anthropic nomme ClaudeBot, Claude-SearchBot et Claude-User mais ne donne pas les chaînes user agent complètes : faites donc la correspondance sur ces jetons. La page de Meta sur ses robots liste des chaînes qui commencent par les jetons indiqués, suivis d'un lien vers sa documentation, et précise que les chaînes visibles dans vos journaux peuvent légèrement varier.
Quel robot fait quoi, et quels noms ne sont que des jetons robots.txt ?
GPTBotcollecte du contenu qui peut servir à entraîner les modèles de fondation d'OpenAI.OAI-SearchBotfait apparaître des sites dans la recherche de ChatGPT.ChatGPT-Userrécupère des pages pour des actions lancées par un utilisateur, et OpenAI indique que les règles du robots.txt peuvent ne pas s'appliquer à lui.OAI-AdsBotvérifie les pages soumises comme publicités ChatGPT.ClaudeBotcollecte des données pour les modèles d'Anthropic,Claude-SearchBotaméliore les résultats de recherche, etClaude-Userrécupère des pages quand une personne pose une question à Claude.PerplexityBotfait apparaître et lie des sites dans la recherche de Perplexity et ne sert pas à entraîner des modèles de fondation.Perplexity-Userrécupère des pages quand un utilisateur pose une question.meta-externalagentexplore pour entraîner des modèles d'IA ou indexer du contenu,meta-webindexerindexe du contenu pour la recherche de Meta AI, etmeta-externalfetcherrécupère des liens à la demande d'un utilisateur.CCBotest le robot de Common Crawl, une archive publique du web.
Deux noms n'apparaissent jamais dans vos journaux. Google-Extended est un jeton robots.txt qui contrôle si le contenu exploré par Google peut servir aux modèles Gemini et à l'ancrage (grounding) ; Google indique qu'il n'a aucun effet sur la présence dans la recherche Google. Applebot-Extended est, selon les mots d'Apple, un user agent secondaire qui n'explore pas les pages web ; il décide seulement comment Apple peut utiliser les données collectées par Applebot. Une requête qui se présente comme l'un des deux n'est pas authentique.
Où les éditeurs de robots d'IA publient-ils leurs plages d'IP ?
La plupart des éditeurs publient un fichier JSON de même forme : un tableau prefixes d'objets avec ipv4Prefix ou ipv6Prefix, plus un creationTime qui indique sa fraîcheur.
- OpenAI :
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonethttps://openai.com/adsbot.json, un par agent. - Anthropic :
https://claude.com/crawling/bots.json, une seule liste pour ses robots. Anthropic indique qu'une adresse de cette liste montre que le robot vient d'Anthropic, et aussi que le blocage par IP ne garantit pas toujours un refus fiable. - Perplexity :
https://www.perplexity.ai/perplexitybot.jsonethttps://www.perplexity.ai/perplexity-user.json. - Google :
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonpour Googlebot, avec des fichiers distincts pour les robots à usage spécial et les récupérateurs déclenchés par l'utilisateur. Le DNS inverse fonctionne aussi. - Apple :
https://search.developer.apple.com/applebot.json, ou le DNS inverse dansapplebot.apple.com. - Common Crawl :
https://index.commoncrawl.org/ccbot.json. Pour l'IPv4, il recommande aussi un DNS inverse confirmé par une recherche directe souscrawl.commoncrawl.org; les adresses IPv6 n'ont pas de DNS inverse. - Microsoft :
https://www.bing.com/toolbox/bingbot.json, que Bing vous demande de rafraîchir chaque jour car il peut changer à tout moment, ou un DNS inverse se terminant parsearch.msn.com. Bing propose aussi un outil public, Verify Bingbot. - Meta : sa page sur les robots ne publie pas de liste d'IP.
Comment vérifier une adresse IP dans les listes officielles des robots ?
Ce script charge chaque liste et indique laquelle contient l'adresse. Il ne demande que Python 3 et gère l'IPv4 comme l'IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Les listes changent. Chaque fichier porte son propre creationTime, Perplexity recommande d'automatiser la mise à jour de vos règles de pare-feu, et Bing demande de rafraîchir sa liste chaque jour. Si vous utilisez les listes dans un pare-feu, récupérez-les à intervalles réguliers au lieu de les copier une fois pour toutes.
Comment vérifier Googlebot, bingbot ou Applebot par DNS inverse ?
Google, Microsoft, Apple et Common Crawl documentent la même vérification en deux étapes : chercher le nom associé à l'adresse IP, vérifier qu'il se termine par le domaine de l'éditeur, puis chercher ce nom et vérifier qu'il renvoie la même IP. Les deux étapes comptent, car quiconque contrôle une plage d'IP peut lui donner le nom DNS inverse qu'il veut, mais ne peut pas faire pointer le domaine de l'éditeur vers elle.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google accepte googlebot.com, google.com et googleusercontent.com selon le type de robot ; la fonction ci-dessus n'accepte que googlebot.com, celui qu'utilise Googlebot lui-même dans les exemples de Google. Pour les autres robots et récupérateurs de Google, utilisez ses listes JSON. Les requêtes DNS prennent du temps : lancez-les quand vous analysez les journaux ou mettez le résultat en cache, plutôt qu'à chaque requête en direct.
Pourquoi vérifier le user agent ne suffit-il pas pour détecter GPTBot ?
Le user agent est un en-tête que le client choisit : n'importe qui peut envoyer GPTBot ou Googlebot. Common Crawl prévient que certains robots se font passer à tort pour CCBot, et Bing publie un guide pour vérifier si un trafic qui se dit bingbot vient vraiment de Bing. Détecter GPTBot de façon fiable, c'est vérifier les deux : le jeton dans le user agent et l'IP source dans gptbot.json. Une requête qui porte le jeton depuis une adresse non listée est un imitateur, et la bloquer n'a aucun effet sur OpenAI.
L'inverse arrive aussi. Si votre pare-feu n'autorise qu'un user agent, les imitateurs entrent ; s'il n'autorise qu'une plage d'IP, tout agent venant du réseau de cet éditeur est traité de la même façon, même celui que vous vouliez bloquer. Vérifier les deux est la règle fiable.
Comment AISeeWhy aide-t-il à vérifier le trafic des robots d'IA ?
La vérification d'IP gratuite d'AISeeWhy vous dit, sans compte, si une adresse IP appartient à GPTBot ou à un autre robot d'IA. La vérification gratuite du site demande ensuite votre page en tant que 16 robots d'IA et de recherche à côté d'un vrai navigateur, pour que vous voyiez ce que recevraient les vrais robots.
Étapes suivantes
- Testeur et vérificateur robots.txt pour les robots IA
- Vérification d'IP de robot IA
- Voir un exemple de rapport complet
- Surveillance des robots IA
- Formules et tarifs
Robots cités dans cet article
Questions fréquentes
Quel est le user agent de GPTBot ?
OpenAI publie Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot et précise que la version peut changer. Faites la correspondance sur GPTBot et vérifiez l'IP dans https://openai.com/gptbot.json.
Quel est le user agent d'OAI-SearchBot ?
Une chaîne de type Chrome qui se termine par compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Ses adresses sont listées dans https://openai.com/searchbot.json. OpenAI l'utilise pour faire apparaître des sites dans la recherche de ChatGPT, une tâche différente de celle de GPTBot.
Anthropic publie-t-elle les adresses IP de ClaudeBot ?
Oui. Anthropic renvoie vers https://claude.com/crawling/bots.json et indique qu'une IP source de cette liste montre que le robot vient d'Anthropic. Son article d'aide nomme les jetons des robots mais pas les chaînes user agent complètes.
Puis-je voir Google-Extended ou Applebot-Extended dans mes journaux ?
Non. Ce sont deux jetons robots.txt, pas des robots. Google et Apple récupèrent les pages avec Googlebot et Applebot et n'utilisent ces jetons que pour décider comment le contenu peut servir à l'IA.
Où se trouve la liste des adresses IP de bingbot ?
Bing la publie à https://www.bing.com/toolbox/bingbot.json et demande de la rafraîchir chaque jour. Son propre guide recommande la vérification par DNS inverse puis direct, où le nom doit se terminer par search.msn.com.
Sources
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot