User agents i rangs d'IP dels rastrejadors d'IA: GPTBot, ClaudeBot, PerplexityBot i més
GPTBot s'identifica amb un user agent que conté GPTBot/1.4; +https://openai.com/gptbot, i OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple i Common Crawl publiquen cadascun una llista JSON dels rangs d'IP que fan servir els seus rastrejadors. Una petició només és autèntica quan coincideixen totes dues coses: el user agent anomena el rastrejador i l'IP d'origen és a la llista d'aquell proveïdor o, per a Googlebot, bingbot, Applebot i CCBot, supera una comprovació de DNS inversa i directa. Un user agent sol no demostra res, perquè qualsevol el pot enviar.
Quan veus GPTBot o ClaudeBot als teus registres, o vols una regla de tallafoc que deixi passar els rastrejadors de cerca amb IA, necessites dues coses: la cadena exacta que envia cada rastrejador i una manera de demostrar que la petició ve de l'empresa que s'hi anomena. A continuació tens les cadenes tal com les publica avui cada proveïdor, la llista oficial d'IP o el mètode de DNS de cadascun i dos scripts que pots executar per comprovar una adreça.
En aquesta pàgina
- Quines són les cadenes user agent de GPTBot, ClaudeBot, PerplexityBot i altres rastrejadors d'IA?
- Quin rastrejador fa què, i quins noms només són tokens del robots.txt?
- On publiquen els proveïdors de rastrejadors d'IA els seus rangs d'IP?
- Com comprovo una adreça IP amb les llistes oficials de rastrejadors?
- Com verifico Googlebot, bingbot o Applebot amb DNS invers?
- Per què comprovar el user agent no és suficient per detectar GPTBot?
- Com pot ajudar AISeeWhy a verificar el trànsit dels rastrejadors d'IA?
Quines són les cadenes user agent de GPTBot, ClaudeBot, PerplexityBot i altres rastrejadors d'IA?
Estan copiades de la documentació dels mateixos proveïdors. OpenAI i Perplexity avisen que els números de versió poden canviar, Google i Microsoft posen la versió actual del navegador on apareix W.X.Y.Z, i Apple diu que de tant en tant actualitza la part del navegador. Fes la coincidència amb el token del rastrejador, com GPTBot o bingbot, no amb la cadena sencera.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 L'article d'ajuda d'Anthropic anomena ClaudeBot, Claude-SearchBot i Claude-User, però no reprodueix les cadenes user agent completes, així que fes la coincidència amb aquests tokens. La pàgina de rastrejadors de Meta mostra cadenes que comencen amb els tokens indicats, seguits d'un enllaç a la seva documentació, i diu que les cadenes que apareixen als teus registres poden variar lleugerament.
Quin rastrejador fa què, i quins noms només són tokens del robots.txt?
GPTBotrecull contingut que es pot fer servir per entrenar els models fundacionals d'OpenAI.OAI-SearchBotmostra llocs a la cerca de ChatGPT.ChatGPT-Userobté pàgines per a accions que inicia un usuari, i OpenAI diu que les regles del robots.txt poden no aplicar-s'hi.OAI-AdsBotrevisa les pàgines enviades com a anuncis de ChatGPT.ClaudeBotrecull dades per als models d'Anthropic,Claude-SearchBotmillora els resultats de cerca iClaude-Userobté pàgines quan una persona fa una pregunta a Claude.PerplexityBotmostra i enllaça llocs a la cerca de Perplexity i no s'utilitza per entrenar models fundacionals.Perplexity-Userobté pàgines quan un usuari fa una pregunta.meta-externalagentrastreja per entrenar models d'IA o indexar contingut,meta-webindexerindexa contingut per a la cerca de Meta AI imeta-externalfetcherobté enllaços a petició d'un usuari.CCBotés el rastrejador de Common Crawl, un arxiu públic del web.
Hi ha dos noms que no apareixen mai als teus registres. Google-Extended és un token del robots.txt que controla si el contingut que rastreja Google es pot fer servir per als models Gemini i per fonamentar respostes; Google diu que no afecta la inclusió a la Cerca de Google. Applebot-Extended és, en paraules d'Apple, un user agent secundari que no rastreja pàgines web; només decideix com pot fer servir Apple les dades que ha recollit Applebot. Una petició que diu ser qualsevol dels dos no és autèntica.
On publiquen els proveïdors de rastrejadors d'IA els seus rangs d'IP?
La majoria de proveïdors publiquen un fitxer JSON amb la mateixa estructura: una matriu prefixes d'objectes amb ipv4Prefix o ipv6Prefix, més un creationTime que indica com n'és de recent.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonihttps://openai.com/adsbot.json, un per agent. - Anthropic:
https://claude.com/crawling/bots.json, una sola llista per als seus rastrejadors. Anthropic diu que una adreça d'aquesta llista demostra que el rastrejador ve d'Anthropic, i també que bloquejar per IP pot no garantir de manera fiable l'exclusió. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonihttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonper a Googlebot, amb fitxers separats per als rastrejadors de casos especials i els obtenidors activats per l'usuari. També funciona el DNS invers. - Apple:
https://search.developer.apple.com/applebot.json, o DNS invers aapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Per a IPv4 també recomana DNS invers confirmat amb una consulta directa sotacrawl.commoncrawl.org; les adreces IPv6 no tenen DNS invers. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, que Bing demana actualitzar cada dia perquè pot canviar en qualsevol moment, o DNS invers acabat ensearch.msn.com. Bing també ofereix una eina pública, Verify Bingbot. - Meta: la seva pàgina de rastrejadors no publica cap llista d'IP.
Com comprovo una adreça IP amb les llistes oficials de rastrejadors?
Aquest script carrega cada llista i indica quina conté l'adreça. Només necessita Python 3 i funciona amb IPv4 i IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Les llistes canvien. Cada fitxer porta el seu propi creationTime, Perplexity recomana automatitzar l'actualització de les regles del tallafoc i Bing demana actualitzar la seva llista cada dia. Si fas servir les llistes en un tallafoc, descarrega-les de manera periòdica en lloc de copiar-les una sola vegada.
Com verifico Googlebot, bingbot o Applebot amb DNS invers?
Google, Microsoft, Apple i Common Crawl documenten la mateixa comprovació en dos passos: busca el nom de l'adreça IP, confirma que acaba amb el domini del proveïdor i després busca aquest nom i confirma que retorna la mateixa IP. Tots dos passos importen, perquè qui controla un rang d'IP pot posar-hi el nom de DNS invers que vulgui, però no pot fer que el domini del proveïdor hi apunti.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google accepta googlebot.com, google.com i googleusercontent.com segons el tipus de rastrejador; la funció anterior només accepta googlebot.com, que és el que fa servir el mateix Googlebot als exemples de Google. Per als altres rastrejadors i obtenidors de Google, fes servir les seves llistes JSON. Les consultes de DNS triguen, així que fes-les quan revisis els registres o desa'n el resultat a la memòria cau, en lloc de fer-les a cada petició en directe.
Per què comprovar el user agent no és suficient per detectar GPTBot?
El user agent és una capçalera que tria el client, així que qualsevol pot enviar GPTBot o Googlebot. Common Crawl avisa que alguns rastrejadors diuen falsament que són CCBot, i Bing publica una guia per comprovar si el trànsit que diu ser bingbot ve realment de Bing. Detectar GPTBot de manera fiable vol dir comprovar les dues coses: el token del user agent i l'IP d'origen a gptbot.json. Una petició amb el token des d'una adreça que no és a la llista és una imitació, i bloquejar-la no afecta OpenAI.
També passa al revés. Si el tallafoc només permet un user agent, les imitacions hi entren; si només permet un rang d'IP, qualsevol agent de la xarxa d'aquell proveïdor rep el mateix tracte, fins i tot un que volies bloquejar. La regla fiable és fer coincidir totes dues coses.
Com pot ajudar AISeeWhy a verificar el trànsit dels rastrejadors d'IA?
La comprovació d'IP de rastrejadors d'IA gratuïta d'AISeeWhy et diu, sense compte, si una adreça IP pertany a GPTBot o a un altre rastrejador d'IA. Després, la comprovació gratuïta del lloc demana la teva pàgina com a 16 rastrejadors d'IA i de cerca al costat d'un navegador real, perquè puguis veure què rebrien els rastrejadors autèntics.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Quin és el user agent de GPTBot?
OpenAI publica Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot i avisa que la versió pot canviar. Fes la coincidència amb GPTBot i confirma l'IP amb https://openai.com/gptbot.json.
Quin és el user agent d'OAI-SearchBot?
Una cadena d'estil Chrome que acaba en compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Les seves adreces apareixen a https://openai.com/searchbot.json. OpenAI el fa servir per mostrar llocs a la cerca de ChatGPT, una feina diferent de la de GPTBot.
Anthropic publica les adreces IP de ClaudeBot?
Sí. Anthropic enllaça https://claude.com/crawling/bots.json i diu que una IP d'origen d'aquesta llista demostra que el rastrejador és d'Anthropic. El seu article d'ajuda anomena els tokens dels bots, però no les cadenes user agent completes.
Puc veure Google-Extended o Applebot-Extended als meus registres?
No. Tots dos són tokens del robots.txt, no rastrejadors. Google i Apple obtenen les pàgines amb Googlebot i Applebot i només fan servir aquests tokens per decidir com es pot fer servir el contingut per a la IA.
On és la llista d'adreces IP de bingbot?
Bing la publica a https://www.bing.com/toolbox/bingbot.json i demana actualitzar-la cada dia. La seva guia recomana la comprovació de DNS inversa i directa, en què el nom ha d'acabar en search.msn.com.
Fonts
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot