User agent e intervalli IP dei crawler di IA: GPTBot, ClaudeBot, PerplexityBot e altri
GPTBot si identifica con uno user agent che contiene GPTBot/1.4; +https://openai.com/gptbot, e OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple e Common Crawl pubblicano ciascuna un elenco JSON degli intervalli IP usati dai loro crawler. Una richiesta è autentica solo quando entrambe le cose corrispondono: lo user agent nomina il crawler e l'IP di origine è nell'elenco di quel fornitore oppure, per Googlebot, bingbot, Applebot e CCBot, supera un controllo DNS inverso e diretto. Uno user agent da solo non prova nulla, perché chiunque può inviarlo.
Quando vedi GPTBot o ClaudeBot nei log, o vuoi una regola del firewall che faccia passare i crawler di ricerca IA, ti servono due cose: la stringa esatta che invia ogni crawler e un modo per dimostrare che una richiesta arriva davvero dall'azienda che dichiara. Qui sotto trovi le stringhe come ogni fornitore le pubblica oggi, l'elenco IP ufficiale o il metodo DNS per ciascuno e due script che puoi eseguire per controllare un indirizzo.
In questa pagina
- Quali sono le stringhe user agent di GPTBot, ClaudeBot, PerplexityBot e degli altri crawler di IA?
- Quale crawler fa cosa, e quali nomi sono solo token del robots.txt?
- Dove pubblicano i fornitori gli intervalli IP dei crawler di IA?
- Come controllo un indirizzo IP con gli elenchi ufficiali dei crawler?
- Come verifico Googlebot, bingbot o Applebot con il DNS inverso?
- Perché il controllo dello user agent non basta per rilevare GPTBot?
- Come può aiutare AISeeWhy a verificare il traffico dei crawler di IA?
Quali sono le stringhe user agent di GPTBot, ClaudeBot, PerplexityBot e degli altri crawler di IA?
Sono copiate dalla documentazione dei fornitori. OpenAI e Perplexity avvertono che i numeri di versione possono cambiare, Google e Microsoft mettono la versione attuale del browser dove compare W.X.Y.Z, e Apple dice che aggiorna di tanto in tanto la parte relativa al browser. Confronta il token del crawler, come GPTBot o bingbot, non l'intera stringa.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 L'articolo di assistenza di Anthropic nomina ClaudeBot, Claude-SearchBot e Claude-User ma non riporta le stringhe user agent complete, quindi confronta quei token. La pagina dei crawler di Meta elenca stringhe che iniziano con i token mostrati, seguiti da un link alla sua documentazione, e dice che le stringhe nei tuoi log possono variare leggermente.
Quale crawler fa cosa, e quali nomi sono solo token del robots.txt?
GPTBotraccoglie contenuti che possono essere usati per addestrare i modelli di base di OpenAI.OAI-SearchBotfa comparire i siti nella ricerca di ChatGPT.ChatGPT-Userrecupera pagine per azioni avviate da un utente, e OpenAI dice che le regole del robots.txt potrebbero non applicarsi a lui.OAI-AdsBotcontrolla le pagine inviate come annunci di ChatGPT.ClaudeBotraccoglie dati per i modelli di Anthropic,Claude-SearchBotmigliora i risultati di ricerca eClaude-Userrecupera pagine quando una persona fa una domanda a Claude.PerplexityBotfa comparire e linka i siti nella ricerca di Perplexity e non viene usato per addestrare modelli di base.Perplexity-Userrecupera pagine quando un utente fa una domanda.meta-externalagentscansiona per addestrare modelli di IA o indicizzare contenuti,meta-webindexerindicizza contenuti per la ricerca di Meta AI emeta-externalfetcherrecupera link su richiesta di un utente.CCBotè il crawler di Common Crawl, un archivio pubblico del web.
Due nomi non compaiono mai nei log. Google-Extended è un token del robots.txt che controlla se i contenuti scansionati da Google possono essere usati per i modelli Gemini e per il grounding; Google dice che non incide sull'inclusione in Google Search. Applebot-Extended è, nelle parole di Apple, uno user agent secondario che non scansiona pagine web; decide solo come Apple può usare i dati raccolti da Applebot. Una richiesta che dichiara di essere l'uno o l'altro non è autentica.
Dove pubblicano i fornitori gli intervalli IP dei crawler di IA?
La maggior parte dei fornitori pubblica un file JSON con la stessa forma: un array prefixes di oggetti con ipv4Prefix o ipv6Prefix, più un creationTime che indica quanto è recente.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonehttps://openai.com/adsbot.json, uno per agente. - Anthropic:
https://claude.com/crawling/bots.json, un unico elenco per i suoi crawler. Anthropic dice che un indirizzo in questo elenco dimostra che il crawler è di Anthropic, e anche che il blocco per IP potrebbe non garantire in modo affidabile l'esclusione. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonehttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonper Googlebot, con file separati per i crawler speciali e i fetcher attivati dagli utenti. Funziona anche il DNS inverso. - Apple:
https://search.developer.apple.com/applebot.json, oppure DNS inverso inapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Per IPv4 consiglia anche il DNS inverso confermato in avanti sottocrawl.commoncrawl.org; gli indirizzi IPv6 non hanno DNS inverso. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, che Bing chiede di aggiornare ogni giorno perché può cambiare in qualsiasi momento, oppure DNS inverso che termina insearch.msn.com. Bing offre anche lo strumento pubblico Verify Bingbot. - Meta: la sua pagina dei crawler non pubblica un elenco IP.
Come controllo un indirizzo IP con gli elenchi ufficiali dei crawler?
Questo script carica ogni elenco e indica quale contiene l'indirizzo. Richiede solo Python 3 e gestisce IPv4 e IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Gli elenchi cambiano. Ogni file riporta il proprio creationTime, Perplexity consiglia di automatizzare gli aggiornamenti delle regole del firewall e Bing chiede di aggiornare il suo elenco ogni giorno. Se usi gli elenchi in un firewall, scaricali a intervalli regolari invece di copiarli una volta sola.
Come verifico Googlebot, bingbot o Applebot con il DNS inverso?
Google, Microsoft, Apple e Common Crawl documentano lo stesso controllo in due passi: cerca il nome dell'indirizzo IP, conferma che termina con il dominio del fornitore, poi cerca quel nome e conferma che restituisce lo stesso IP. Servono entrambi i passi, perché chi controlla un intervallo IP può impostare qualsiasi nome DNS inverso, ma non può far puntare il dominio del fornitore verso di sé.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google accetta googlebot.com, google.com e googleusercontent.com per i suoi vari tipi di crawler; la funzione qui sopra accetta solo googlebot.com, che è ciò che Googlebot stesso usa negli esempi di Google. Per gli altri crawler e fetcher di Google, usa i suoi elenchi JSON. Le ricerche DNS richiedono tempo, quindi eseguile quando analizzi i log o metti in cache il risultato, invece di farle a ogni richiesta in tempo reale.
Perché il controllo dello user agent non basta per rilevare GPTBot?
Lo user agent è un'intestazione scelta dal client, quindi chiunque può inviare GPTBot o Googlebot. Common Crawl avverte che alcuni crawler dichiarano falsamente di essere CCBot, e Bing pubblica una guida per verificare se il traffico che dichiara di essere bingbot arriva davvero da Bing. Rilevare GPTBot in modo affidabile significa controllare entrambe le cose: il token nello user agent e l'IP di origine in gptbot.json. Una richiesta con il token da un indirizzo non elencato è un imitatore, e bloccarla non tocca OpenAI.
Succede anche il contrario. Se il firewall consente solo uno user agent, gli imitatori entrano; se consente solo un intervallo IP, qualsiasi agente della rete di quel fornitore riceve lo stesso trattamento, anche uno che volevi bloccare. La regola affidabile è far corrispondere entrambi.
Come può aiutare AISeeWhy a verificare il traffico dei crawler di IA?
Il controllo IP dei crawler di IA di AISeeWhy, gratuito e senza account, ti dice se un indirizzo IP appartiene a GPTBot o a un altro crawler di IA. Il controllo gratuito del sito richiede poi la tua pagina come 16 crawler di IA e di ricerca accanto a un browser reale, così puoi vedere cosa riceverebbero i crawler autentici.
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Controllo IP dei crawler AI
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
Qual è lo user agent di GPTBot?
OpenAI pubblica Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot e avverte che la versione può cambiare. Confronta GPTBot e verifica l'IP con https://openai.com/gptbot.json.
Qual è lo user agent di OAI-SearchBot?
Una stringa in stile Chrome che termina con compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. I suoi indirizzi sono elencati in https://openai.com/searchbot.json. OpenAI lo usa per far comparire i siti nella ricerca di ChatGPT, un compito diverso da quello di GPTBot.
Anthropic pubblica gli indirizzi IP di ClaudeBot?
Sì. Anthropic rimanda a https://claude.com/crawling/bots.json e dice che un IP di origine in quell'elenco dimostra che il crawler è di Anthropic. Il suo articolo di assistenza nomina i token dei bot ma non le stringhe user agent complete.
Posso vedere Google-Extended o Applebot-Extended nei miei log?
No. Sono entrambi token del robots.txt, non crawler. Google e Apple scaricano le pagine con Googlebot e Applebot e usano questi token solo per decidere come i contenuti possono essere usati per l'IA.
Dov'è l'elenco degli indirizzi IP di bingbot?
Bing lo pubblica su https://www.bing.com/toolbox/bingbot.json e chiede di aggiornarlo ogni giorno. La sua guida consiglia il controllo DNS inverso e diretto, in cui il nome deve terminare con search.msn.com.
Fonti
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot