User agent-uri și intervale IP ale crawlerelor AI: GPTBot, ClaudeBot, PerplexityBot și altele
GPTBot se identifică printr-un user agent care conține GPTBot/1.4; +https://openai.com/gptbot, iar OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple și Common Crawl publică fiecare o listă JSON cu intervalele IP folosite de crawlerele lor. O cerere este reală doar când ambele se potrivesc: user agent-ul numește crawlerul, iar IP-ul sursă este în lista acelui furnizor sau, pentru Googlebot, bingbot, Applebot și CCBot, trece o verificare DNS inversă și directă. Un user agent singur nu dovedește nimic, pentru că oricine îl poate trimite.
Când vezi GPTBot sau ClaudeBot în loguri sau vrei o regulă de firewall care să lase să treacă crawlerele de căutare AI, ai nevoie de două lucruri: șirul exact pe care îl trimite fiecare crawler și o cale de a dovedi că o cerere vine de la compania pe care o numește. Mai jos sunt șirurile așa cum le publică astăzi fiecare furnizor, lista IP oficială sau metoda DNS pentru fiecare și două scripturi pe care le poți rula ca să verifici o adresă.
Pe această pagină
- Care sunt șirurile user agent ale GPTBot, ClaudeBot, PerplexityBot și ale altor crawlere AI?
- Ce face fiecare crawler și care nume sunt doar tokenuri robots.txt?
- Unde își publică furnizorii de crawlere AI intervalele IP?
- Cum verific o adresă IP în listele oficiale ale crawlerelor?
- Cum verific Googlebot, bingbot sau Applebot cu DNS invers?
- De ce nu e suficientă verificarea user agent-ului ca să detectezi GPTBot?
- Cum te poate ajuta AISeeWhy să verifici traficul crawlerelor AI?
Care sunt șirurile user agent ale GPTBot, ClaudeBot, PerplexityBot și ale altor crawlere AI?
Acestea sunt copiate din documentația furnizorilor. OpenAI și Perplexity notează că numerele de versiune se pot schimba, Google și Microsoft pun versiunea curentă a browserului acolo unde apare W.X.Y.Z, iar Apple spune că actualizează ocazional partea de browser. Potrivește după tokenul crawlerului, cum ar fi GPTBot sau bingbot, nu după întregul șir.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Articolul de ajutor al Anthropic numește ClaudeBot, Claude-SearchBot și Claude-User, dar nu dă șirurile user agent complete, așa că potrivește după aceste tokenuri. Pagina Meta despre crawlere listează șiruri care încep cu tokenurile afișate, urmate de un link spre documentația ei, și spune că șirurile din logurile tale pot varia ușor.
Ce face fiecare crawler și care nume sunt doar tokenuri robots.txt?
GPTBotcolectează conținut care poate fi folosit pentru antrenarea modelelor de bază ale OpenAI.OAI-SearchBotafișează site-uri în căutarea ChatGPT.ChatGPT-Userdescarcă pagini pentru acțiuni pornite de un utilizator, iar OpenAI spune că regulile robots.txt s-ar putea să nu i se aplice.OAI-AdsBotverifică paginile trimise ca reclame în ChatGPT.ClaudeBotadună date pentru modelele Anthropic,Claude-SearchBotîmbunătățește rezultatele căutării, iarClaude-Userdescarcă pagini când o persoană îi pune o întrebare lui Claude.PerplexityBotafișează și leagă site-uri în căutarea Perplexity și nu este folosit pentru antrenarea modelelor de bază.Perplexity-Userdescarcă pagini când un utilizator pune o întrebare.meta-externalagentaccesează conținut pentru antrenarea modelelor AI sau pentru indexare,meta-webindexerindexează conținut pentru căutarea Meta AI, iarmeta-externalfetcherdescarcă linkuri la cererea unui utilizator.CCBoteste crawlerul Common Crawl, o arhivă publică a webului.
Două nume nu apar niciodată în loguri. Google-Extended este un token robots.txt care controlează dacă conținutul accesat de Google poate fi folosit pentru modelele Gemini și pentru grounding; Google spune că nu influențează includerea în Google Search. Applebot-Extended este, în cuvintele Apple, un user agent secundar care nu accesează pagini web; el decide doar cum poate folosi Apple datele colectate de Applebot. O cerere care pretinde că este unul dintre ele nu este autentică.
Unde își publică furnizorii de crawlere AI intervalele IP?
Majoritatea furnizorilor publică un fișier JSON cu aceeași structură: un array prefixes de obiecte cu ipv4Prefix sau ipv6Prefix, plus un creationTime care îți spune cât de recent este.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonșihttps://openai.com/adsbot.json, câte unul pentru fiecare agent. - Anthropic:
https://claude.com/crawling/bots.json, o singură listă pentru crawlerele sale. Anthropic spune că o adresă din această listă arată că crawlerul vine de la Anthropic și, totodată, că blocarea după IP s-ar putea să nu garanteze sigur o renunțare. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonșihttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonpentru Googlebot, cu fișiere separate pentru crawlerele speciale și pentru descărcările declanșate de utilizatori. Funcționează și DNS-ul invers. - Apple:
https://search.developer.apple.com/applebot.jsonsau DNS invers înapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Pentru IPv4 recomandă și DNS invers confirmat direct, subcrawl.commoncrawl.org; adresele IPv6 nu au DNS invers. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, pe care Bing îți cere să-l reîmprospătezi zilnic, pentru că se poate schimba oricând, sau DNS invers care se termină însearch.msn.com. Bing oferă și un instrument public, Verify Bingbot. - Meta: pagina sa despre crawlere nu publică o listă de IP-uri.
Cum verific o adresă IP în listele oficiale ale crawlerelor?
Acest script încarcă fiecare listă și raportează care dintre ele conține adresa. Are nevoie doar de Python 3 și funcționează cu IPv4 și IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Listele se schimbă. Fiecare fișier are propriul creationTime, Perplexity recomandă automatizarea actualizării regulilor de firewall, iar Bing îți cere să-i reîmprospătezi lista zilnic. Dacă folosești listele într-un firewall, descarcă-le periodic, nu le copia o singură dată.
Cum verific Googlebot, bingbot sau Applebot cu DNS invers?
Google, Microsoft, Apple și Common Crawl documentează aceeași verificare în doi pași: cauți numele adresei IP, confirmi că se termină în domeniul furnizorului, apoi cauți acel nume și confirmi că returnează același IP. Ambii pași contează, pentru că oricine controlează un interval IP poate seta orice nume DNS invers vrea, dar nu poate face ca domeniul furnizorului să trimită înapoi la el.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google acceptă googlebot.com, google.com și googleusercontent.com pentru diferitele tipuri de crawlere; funcția de mai sus acceptă doar googlebot.com, pe care îl folosește Googlebot însuși în exemplele Google. Pentru celelalte crawlere și fetchere Google, folosește listele JSON. Interogările DNS durează, așa că rulează-le când analizezi logurile sau păstrează rezultatul în cache, nu la fiecare cerere live.
De ce nu e suficientă verificarea user agent-ului ca să detectezi GPTBot?
User agent-ul este un header ales de client, așa că oricine poate trimite GPTBot sau Googlebot. Common Crawl avertizează că unele crawlere pretind în mod fals că sunt CCBot, iar Bing publică un ghid pentru a verifica dacă traficul care pretinde că este bingbot vine cu adevărat de la Bing. Detectarea sigură a GPTBot înseamnă să verifici ambele: tokenul din user agent și IP-ul sursă în gptbot.json. O cerere cu tokenul, venită de la o adresă care nu e în listă, este un impostor, iar blocarea ei nu afectează OpenAI.
Se întâmplă și invers. Dacă firewall-ul permite doar după user agent, impostorii intră; dacă permite doar după interval IP, orice agent din rețeaua acelui furnizor primește același tratament, chiar și unul pe care voiai să-l blochezi. Potrivirea după ambele este regula de încredere.
Cum te poate ajuta AISeeWhy să verifici traficul crawlerelor AI?
Verificarea IP gratuită pentru crawlere AI de la AISeeWhy îți spune, fără cont, dacă o adresă IP aparține lui GPTBot sau altui crawler AI. Verificarea gratuită a site-ului îți cere apoi pagina ca 16 crawlere AI și de căutare, alături de un browser real, ca să vezi ce ar primi crawlerele autentice.
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Verificare IP pentru crawlere AI
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Care este user agent-ul GPTBot?
OpenAI publică Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot și notează că versiunea se poate schimba. Potrivește după GPTBot și confirmă IP-ul în https://openai.com/gptbot.json.
Care este user agent-ul OAI-SearchBot?
Un șir de tip Chrome care se termină în compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Adresele lui sunt listate în https://openai.com/searchbot.json. OpenAI îl folosește pentru a afișa site-uri în căutarea ChatGPT, o sarcină diferită de cea a lui GPTBot.
Publică Anthropic adresele IP ale ClaudeBot?
Da. Anthropic trimite la https://claude.com/crawling/bots.json și spune că un IP sursă din această listă arată că crawlerul este de la Anthropic. Articolul său de ajutor numește tokenurile boților, dar nu și șirurile user agent complete.
Pot vedea Google-Extended sau Applebot-Extended în loguri?
Nu. Ambele sunt tokenuri robots.txt, nu crawlere. Google și Apple descarcă paginile cu Googlebot și Applebot și folosesc aceste tokenuri doar pentru a decide cum poate fi folosit conținutul pentru AI.
Unde este lista adreselor IP bingbot?
Bing o publică la https://www.bing.com/toolbox/bingbot.json și îți cere să o reîmprospătezi zilnic. Propriul ghid recomandă verificarea DNS inversă și directă, în care numele trebuie să se termine în search.msn.com.
Surse
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot