User agent e intervalli IP dei crawler di IA: GPTBot, ClaudeBot, PerplexityBot e altri

Pubblicato

Risposta breve

GPTBot si identifica con uno user agent che contiene GPTBot/1.4; +https://openai.com/gptbot, e OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple e Common Crawl pubblicano ciascuna un elenco JSON degli intervalli IP usati dai loro crawler. Una richiesta è autentica solo quando entrambe le cose corrispondono: lo user agent nomina il crawler e l'IP di origine è nell'elenco di quel fornitore oppure, per Googlebot, bingbot, Applebot e CCBot, supera un controllo DNS inverso e diretto. Uno user agent da solo non prova nulla, perché chiunque può inviarlo.

Quando vedi GPTBot o ClaudeBot nei log, o vuoi una regola del firewall che faccia passare i crawler di ricerca IA, ti servono due cose: la stringa esatta che invia ogni crawler e un modo per dimostrare che una richiesta arriva davvero dall'azienda che dichiara. Qui sotto trovi le stringhe come ogni fornitore le pubblica oggi, l'elenco IP ufficiale o il metodo DNS per ciascuno e due script che puoi eseguire per controllare un indirizzo.

In questa pagina
  1. Quali sono le stringhe user agent di GPTBot, ClaudeBot, PerplexityBot e degli altri crawler di IA?
  2. Quale crawler fa cosa, e quali nomi sono solo token del robots.txt?
  3. Dove pubblicano i fornitori gli intervalli IP dei crawler di IA?
  4. Come controllo un indirizzo IP con gli elenchi ufficiali dei crawler?
  5. Come verifico Googlebot, bingbot o Applebot con il DNS inverso?
  6. Perché il controllo dello user agent non basta per rilevare GPTBot?
  7. Come può aiutare AISeeWhy a verificare il traffico dei crawler di IA?

Quali sono le stringhe user agent di GPTBot, ClaudeBot, PerplexityBot e degli altri crawler di IA?

Sono copiate dalla documentazione dei fornitori. OpenAI e Perplexity avvertono che i numeri di versione possono cambiare, Google e Microsoft mettono la versione attuale del browser dove compare W.X.Y.Z, e Apple dice che aggiorna di tanto in tanto la parte relativa al browser. Confronta il token del crawler, come GPTBot o bingbot, non l'intera stringa.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

L'articolo di assistenza di Anthropic nomina ClaudeBot, Claude-SearchBot e Claude-User ma non riporta le stringhe user agent complete, quindi confronta quei token. La pagina dei crawler di Meta elenca stringhe che iniziano con i token mostrati, seguiti da un link alla sua documentazione, e dice che le stringhe nei tuoi log possono variare leggermente.

Quale crawler fa cosa, e quali nomi sono solo token del robots.txt?

Due nomi non compaiono mai nei log. Google-Extended è un token del robots.txt che controlla se i contenuti scansionati da Google possono essere usati per i modelli Gemini e per il grounding; Google dice che non incide sull'inclusione in Google Search. Applebot-Extended è, nelle parole di Apple, uno user agent secondario che non scansiona pagine web; decide solo come Apple può usare i dati raccolti da Applebot. Una richiesta che dichiara di essere l'uno o l'altro non è autentica.

Dove pubblicano i fornitori gli intervalli IP dei crawler di IA?

La maggior parte dei fornitori pubblica un file JSON con la stessa forma: un array prefixes di oggetti con ipv4Prefix o ipv6Prefix, più un creationTime che indica quanto è recente.

Come controllo un indirizzo IP con gli elenchi ufficiali dei crawler?

Questo script carica ogni elenco e indica quale contiene l'indirizzo. Richiede solo Python 3 e gestisce IPv4 e IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Gli elenchi cambiano. Ogni file riporta il proprio creationTime, Perplexity consiglia di automatizzare gli aggiornamenti delle regole del firewall e Bing chiede di aggiornare il suo elenco ogni giorno. Se usi gli elenchi in un firewall, scaricali a intervalli regolari invece di copiarli una volta sola.

Come verifico Googlebot, bingbot o Applebot con il DNS inverso?

Google, Microsoft, Apple e Common Crawl documentano lo stesso controllo in due passi: cerca il nome dell'indirizzo IP, conferma che termina con il dominio del fornitore, poi cerca quel nome e conferma che restituisce lo stesso IP. Servono entrambi i passi, perché chi controlla un intervallo IP può impostare qualsiasi nome DNS inverso, ma non può far puntare il dominio del fornitore verso di sé.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google accetta googlebot.com, google.com e googleusercontent.com per i suoi vari tipi di crawler; la funzione qui sopra accetta solo googlebot.com, che è ciò che Googlebot stesso usa negli esempi di Google. Per gli altri crawler e fetcher di Google, usa i suoi elenchi JSON. Le ricerche DNS richiedono tempo, quindi eseguile quando analizzi i log o metti in cache il risultato, invece di farle a ogni richiesta in tempo reale.

Perché il controllo dello user agent non basta per rilevare GPTBot?

Lo user agent è un'intestazione scelta dal client, quindi chiunque può inviare GPTBot o Googlebot. Common Crawl avverte che alcuni crawler dichiarano falsamente di essere CCBot, e Bing pubblica una guida per verificare se il traffico che dichiara di essere bingbot arriva davvero da Bing. Rilevare GPTBot in modo affidabile significa controllare entrambe le cose: il token nello user agent e l'IP di origine in gptbot.json. Una richiesta con il token da un indirizzo non elencato è un imitatore, e bloccarla non tocca OpenAI.

Succede anche il contrario. Se il firewall consente solo uno user agent, gli imitatori entrano; se consente solo un intervallo IP, qualsiasi agente della rete di quel fornitore riceve lo stesso trattamento, anche uno che volevi bloccare. La regola affidabile è far corrispondere entrambi.

Come può aiutare AISeeWhy a verificare il traffico dei crawler di IA?

Il controllo IP dei crawler di IA di AISeeWhy, gratuito e senza account, ti dice se un indirizzo IP appartiene a GPTBot o a un altro crawler di IA. Il controllo gratuito del sito richiede poi la tua pagina come 16 crawler di IA e di ricerca accanto a un browser reale, così puoi vedere cosa riceverebbero i crawler autentici.

Strumenti gratuiti

Prossimi passi

Crawler in questo articolo

Domande frequenti

Qual è lo user agent di GPTBot?

OpenAI pubblica Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot e avverte che la versione può cambiare. Confronta GPTBot e verifica l'IP con https://openai.com/gptbot.json.

Qual è lo user agent di OAI-SearchBot?

Una stringa in stile Chrome che termina con compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. I suoi indirizzi sono elencati in https://openai.com/searchbot.json. OpenAI lo usa per far comparire i siti nella ricerca di ChatGPT, un compito diverso da quello di GPTBot.

Anthropic pubblica gli indirizzi IP di ClaudeBot?

Sì. Anthropic rimanda a https://claude.com/crawling/bots.json e dice che un IP di origine in quell'elenco dimostra che il crawler è di Anthropic. Il suo articolo di assistenza nomina i token dei bot ma non le stringhe user agent complete.

Posso vedere Google-Extended o Applebot-Extended nei miei log?

No. Sono entrambi token del robots.txt, non crawler. Google e Apple scaricano le pagine con Googlebot e Applebot e usano questi token solo per decidere come i contenuti possono essere usati per l'IA.

Dov'è l'elenco degli indirizzi IP di bingbot?

Bing lo pubblica su https://www.bing.com/toolbox/bingbot.json e chiede di aggiornarlo ogni giorno. La sua guida consiglia il controllo DNS inverso e diretto, in cui il nome deve terminare con search.msn.com.

Fonti

Altri articoli