User agents y rangos de IP de los rastreadores de IA: GPTBot, ClaudeBot, PerplexityBot y más

Publicado

Respuesta corta

GPTBot se identifica con un user agent que contiene GPTBot/1.4; +https://openai.com/gptbot, y OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple y Common Crawl publican cada uno una lista JSON con los rangos de IP que usan sus rastreadores. Una solicitud es auténtica solo cuando coinciden ambas cosas: el user agent nombra al rastreador y la IP de origen está en la lista de ese proveedor o, en el caso de Googlebot, bingbot, Applebot y CCBot, supera una comprobación de DNS inversa y directa. Un user agent por sí solo no demuestra nada, porque cualquiera puede enviarlo.

Cuando ves GPTBot o ClaudeBot en tus registros, o quieres una regla de cortafuegos que deje pasar a los rastreadores de búsqueda con IA, necesitas dos cosas: la cadena exacta que envía cada rastreador y una forma de demostrar que una solicitud viene de la empresa que nombra. A continuación tienes las cadenas tal como las publica hoy cada proveedor, la lista oficial de IP o el método DNS de cada uno y dos scripts para comprobar una dirección.

En esta página
  1. ¿Cuáles son las cadenas de user agent de GPTBot, ClaudeBot, PerplexityBot y otros rastreadores de IA?
  2. ¿Qué hace cada rastreador y qué nombres son solo tokens de robots.txt?
  3. ¿Dónde publican los proveedores de rastreadores de IA sus rangos de IP?
  4. ¿Cómo compruebo una dirección IP con las listas oficiales de rastreadores?
  5. ¿Cómo verifico Googlebot, bingbot o Applebot con DNS inverso?
  6. ¿Por qué no basta con comprobar el user agent para detectar GPTBot?
  7. ¿Cómo ayuda AISeeWhy a verificar el tráfico de rastreadores de IA?

¿Cuáles son las cadenas de user agent de GPTBot, ClaudeBot, PerplexityBot y otros rastreadores de IA?

Están copiadas de la documentación de los propios proveedores. OpenAI y Perplexity advierten de que los números de versión pueden cambiar, Google y Microsoft ponen la versión actual del navegador donde aparece W.X.Y.Z, y Apple dice que actualiza de vez en cuando la parte del navegador. Haz la coincidencia con el token del rastreador, como GPTBot o bingbot, no con la cadena completa.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

El artículo de ayuda de Anthropic nombra ClaudeBot, Claude-SearchBot y Claude-User, pero no publica cadenas de user agent completas, así que haz la coincidencia con esos tokens. La página de rastreadores de Meta enumera cadenas que empiezan por los tokens indicados, seguidos de un enlace a su documentación, y dice que las cadenas que muestran tus registros pueden variar ligeramente.

¿Qué hace cada rastreador y qué nombres son solo tokens de robots.txt?

Hay dos nombres que nunca aparecen en tus registros. Google-Extended es un token de robots.txt que controla si el contenido que rastrea Google puede usarse para los modelos de Gemini y para el grounding; Google dice que no afecta a la inclusión en la Búsqueda de Google. Applebot-Extended es, en palabras de Apple, un user agent secundario que no rastrea páginas web; solo decide cómo puede usar Apple los datos que recopiló Applebot. Una solicitud que dice ser cualquiera de los dos no es auténtica.

¿Dónde publican los proveedores de rastreadores de IA sus rangos de IP?

La mayoría de los proveedores publican un archivo JSON con la misma forma: un array prefixes de objetos con ipv4Prefix o ipv6Prefix, más un creationTime que indica lo reciente que es.

¿Cómo compruebo una dirección IP con las listas oficiales de rastreadores?

Este script carga cada lista e indica cuál contiene la dirección. Solo necesita Python 3 y admite IPv4 e IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Las listas cambian. Cada archivo lleva su propio creationTime, Perplexity recomienda automatizar la actualización de las reglas del cortafuegos y Bing pide actualizar su lista a diario. Si usas las listas en un cortafuegos, descárgalas de forma programada en lugar de copiarlas una sola vez.

¿Cómo verifico Googlebot, bingbot o Applebot con DNS inverso?

Google, Microsoft, Apple y Common Crawl documentan la misma comprobación en dos pasos: buscar el nombre de la dirección IP, confirmar que termina en el dominio del proveedor y después buscar ese nombre y confirmar que devuelve la misma IP. Ambos pasos importan, porque quien controla un rango de IP puede poner el nombre de DNS inverso que quiera, pero no puede hacer que el dominio del proveedor apunte a él.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google acepta googlebot.com, google.com y googleusercontent.com según el tipo de rastreador; la función de arriba solo acepta googlebot.com, que es lo que usa el propio Googlebot en los ejemplos de Google. Para los demás rastreadores y fetchers de Google, usa sus listas JSON. Las consultas DNS llevan tiempo, así que hazlas al revisar los registros o guarda el resultado en caché, en lugar de lanzarlas en cada solicitud en directo.

¿Por qué no basta con comprobar el user agent para detectar GPTBot?

El user agent es una cabecera que elige el cliente, así que cualquiera puede enviar GPTBot o Googlebot. Common Crawl advierte de que algunos rastreadores se hacen pasar falsamente por CCBot, y Bing publica una guía para comprobar si el tráfico que dice ser bingbot viene realmente de Bing. Detectar GPTBot de forma fiable significa comprobar ambas cosas: el token en el user agent y la IP de origen en gptbot.json. Una solicitud con el token desde una dirección que no está en la lista es un imitador, y bloquearla no afecta a OpenAI.

También pasa lo contrario. Si tu cortafuegos solo permite un user agent, los imitadores entran; si solo permite un rango de IP, cualquier agente de la red de ese proveedor recibe el mismo trato, incluso uno que querías bloquear. Comprobar ambas cosas es la regla fiable.

¿Cómo ayuda AISeeWhy a verificar el tráfico de rastreadores de IA?

La comprobación gratuita de IP de rastreadores de IA de AISeeWhy te dice, sin cuenta, si una dirección IP pertenece a GPTBot o a otro rastreador de IA. La comprobación gratuita del sitio solicita después tu página como 16 rastreadores de IA y de búsqueda junto a un navegador real, para que veas lo que recibirían los rastreadores auténticos.

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿Cuál es el user agent de GPTBot?

OpenAI publica Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot y advierte de que la versión puede cambiar. Haz la coincidencia con GPTBot y confirma la IP con https://openai.com/gptbot.json.

¿Cuál es el user agent de OAI-SearchBot?

Una cadena de estilo Chrome que termina en compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Sus direcciones figuran en https://openai.com/searchbot.json. OpenAI lo usa para mostrar sitios en la búsqueda de ChatGPT, una tarea distinta de la de GPTBot.

¿Publica Anthropic las direcciones IP de ClaudeBot?

Sí. Anthropic enlaza a https://claude.com/crawling/bots.json y dice que una IP de origen de esa lista demuestra que el rastreador es de Anthropic. Su artículo de ayuda nombra los tokens de los bots, pero no las cadenas de user agent completas.

¿Puedo ver Google-Extended o Applebot-Extended en mis registros?

No. Ambos son tokens de robots.txt, no rastreadores. Google y Apple obtienen las páginas con Googlebot y Applebot y usan estos tokens solo para decidir cómo puede usarse el contenido para la IA.

¿Dónde está la lista de direcciones IP de bingbot?

Bing la publica en https://www.bing.com/toolbox/bingbot.json y pide actualizarla a diario. Su propia guía recomienda la comprobación de DNS inverso y directo, en la que el nombre debe terminar en search.msn.com.

Fuentes

Más artículos