Mga user agent at IP range ng AI crawler: GPTBot, ClaudeBot, PerplexityBot at iba pa
Nagpapakilala ang GPTBot gamit ang user agent na naglalaman ng GPTBot/1.4; +https://openai.com/gptbot, at bawat isa sa OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple at Common Crawl ay naglalathala ng JSON list ng mga IP range na ginagamit ng mga crawler nila. Totoo lang ang request kapag parehong tumugma: pinapangalanan ng user agent ang crawler at nasa listahan ng vendor na iyon ang source IP, o, para sa Googlebot, bingbot, Applebot at CCBot, pumapasa sa reverse at forward DNS check. Walang napapatunayan ang user agent nang mag-isa, dahil kahit sino ay puwedeng magpadala nito.
Kapag nakita mo ang GPTBot o ClaudeBot sa mga log mo, o gusto mo ng firewall rule na nagpapadaan sa mga AI search crawler, dalawang bagay ang kailangan mo: ang eksaktong string na ipinapadala ng bawat crawler, at paraan para patunayang galing ang request sa kumpanyang pinangangalanan nito. Nasa ibaba ang mga string ayon sa pagkakalathala ng bawat vendor ngayon, ang opisyal na IP list o paraan ng DNS para sa bawat isa, at dalawang script na mapapatakbo mo para suriin ang isang address.
Sa pahinang ito
- Ano ang mga user agent string ng GPTBot, ClaudeBot, PerplexityBot at iba pang AI crawler?
- Aling crawler ang gumagawa ng ano, at aling mga pangalan ang robots.txt token lang?
- Saan inilalathala ng mga vendor ng AI crawler ang mga IP range nila?
- Paano ko itatapat ang isang IP address sa mga opisyal na listahan ng crawler?
- Paano ko ive-verify ang Googlebot, bingbot o Applebot gamit ang reverse DNS?
- Bakit hindi sapat ang pagsusuri sa user agent para matukoy ang GPTBot?
- Paano makakatulong ang AISeeWhy sa pag-verify ng traffic ng AI crawler?
Ano ang mga user agent string ng GPTBot, ClaudeBot, PerplexityBot at iba pang AI crawler?
Kinopya ang mga ito mula sa sariling dokumentasyon ng mga vendor. Sabi ng OpenAI at Perplexity, maaaring magbago ang mga version number, inilalagay ng Google at Microsoft ang kasalukuyang bersyon ng browser kung saan lumalabas ang W.X.Y.Z, at sabi ng Apple, paminsan-minsan nitong ina-update ang bahagi ng browser. I-match sa token ng crawler, gaya ng GPTBot o bingbot, hindi sa buong string.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Pinapangalanan ng help article ng Anthropic ang ClaudeBot, Claude-SearchBot at Claude-User pero hindi inilalathala ang buong user agent string, kaya i-match sa mga token na iyon. Naglilista ang pahina ng crawler ng Meta ng mga string na nagsisimula sa mga ipinakitang token, na sinusundan ng link sa dokumentasyon nito, at sinasabing maaaring bahagyang mag-iba ang mga string na lumalabas sa log mo.
Aling crawler ang gumagawa ng ano, at aling mga pangalan ang robots.txt token lang?
- Kumokolekta ang
GPTBotng content na maaaring gamitin sa pag-train ng mga foundation model ng OpenAI. Inilalabas ngOAI-SearchBotang mga site sa ChatGPT search. Kumukuha angChatGPT-Userng mga pahina para sa mga aksyong sinimulan ng user, at sabi ng OpenAI, maaaring hindi ito saklaw ng mga rule ng robots.txt. Sinusuri ngOAI-AdsBotang mga pahinang isinumite bilang ad sa ChatGPT. - Nangangalap ang
ClaudeBotng data para sa mga model ng Anthropic, pinapahusay ngClaude-SearchBotang mga search result, at kumukuha angClaude-Userng mga pahina kapag may nagtanong kay Claude. - Inilalabas at nili-link ng
PerplexityBotang mga site sa Perplexity search at hindi ginagamit sa pag-train ng mga foundation model. Kumukuha angPerplexity-Userng mga pahina kapag may tanong ang user. - Nagku-crawl ang
meta-externalagentpara sa pag-train ng mga AI model o pag-index ng content, nag-i-index angmeta-webindexerng content para sa Meta AI search, at kumukuha angmeta-externalfetcherng mga link ayon sa kahilingan ng user. - Ang
CCBotang crawler ng Common Crawl, isang pampublikong web archive.
Dalawang pangalan ang hindi kailanman lalabas sa log mo. Ang Google-Extended ay robots.txt token na kumokontrol kung magagamit ang content na kinu-crawl ng Google para sa mga Gemini model at grounding; sabi ng Google, hindi nito naaapektuhan ang pagkakasama sa Google Search. Ang Applebot-Extended, sa salita ng Apple, ay pangalawang user agent na hindi nagku-crawl ng mga webpage; pinagpapasyahan lang nito kung paano magagamit ng Apple ang data na nakolekta ng Applebot. Hindi totoo ang request na nagsasabing alinman sa dalawa ito.
Saan inilalathala ng mga vendor ng AI crawler ang mga IP range nila?
Karamihan ng vendor ay naglalathala ng JSON file na pare-pareho ang anyo: isang array na prefixes ng mga object na may ipv4Prefix o ipv6Prefix, kasama ang creationTime na nagsasabi kung gaano ito kabago.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonathttps://openai.com/adsbot.json, isa bawat agent. - Anthropic:
https://claude.com/crawling/bots.json, iisang listahan para sa mga crawler nito. Sabi ng Anthropic, ipinapakita ng address na nasa listahang ito na galing sa Anthropic ang crawler, at maaari ring hindi maaasahang garantiya ng opt-out ang pag-block ng IP. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonathttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonpara sa Googlebot, na may hiwalay na mga file para sa mga special-case crawler at user-triggered fetcher. Gumagana rin ang reverse DNS. - Apple:
https://search.developer.apple.com/applebot.json, o reverse DNS saapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Para sa IPv4, inirerekomenda rin nito ang forward-confirmed reverse DNS sa ilalim ngcrawl.commoncrawl.org; walang reverse DNS ang mga IPv6 address. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, na hinihiling ng Bing na i-refresh araw-araw dahil puwede itong magbago anumang oras, o reverse DNS na nagtatapos sasearch.msn.com. May pampublikong Verify Bingbot tool din ang Bing. - Meta: walang inilalathalang IP list ang pahina ng crawler nito.
Paano ko itatapat ang isang IP address sa mga opisyal na listahan ng crawler?
Nilo-load ng script na ito ang bawat listahan at iniuulat kung alin ang naglalaman ng address. Python 3 lang ang kailangan nito, at kaya nito ang IPv4 at IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Nagbabago ang mga listahan. May sariling creationTime ang bawat file, inirerekomenda ng Perplexity na i-automate ang pag-update ng mga firewall rule mo, at hinihiling ng Bing na i-refresh ang listahan nito araw-araw. Kung ginagamit mo ang mga listahan sa firewall, kunin ang mga ito ayon sa iskedyul sa halip na kopyahin nang isang beses.
Paano ko ive-verify ang Googlebot, bingbot o Applebot gamit ang reverse DNS?
Iisang dalawang-hakbang na pagsusuri ang dinodokumento ng Google, Microsoft, Apple at Common Crawl: hanapin ang pangalan ng IP address, kumpirmahing nagtatapos ito sa domain ng vendor, saka hanapin ang pangalang iyon at kumpirmahing ibinabalik nito ang parehong IP. Mahalaga ang dalawang hakbang, dahil puwedeng magtakda ng kahit anong reverse DNS name ang may hawak ng IP range, pero hindi nila mapapaturo pabalik dito ang domain ng vendor.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Tinatanggap ng Google ang googlebot.com, google.com at googleusercontent.com sa iba't ibang uri ng crawler nito; googlebot.com lang ang tinatanggap ng function sa itaas, na siyang ginagamit ng Googlebot mismo sa mga halimbawa ng Google. Para sa ibang crawler at fetcher ng Google, gamitin ang mga JSON list nito. Matagal ang mga DNS lookup, kaya patakbuhin ang mga ito kapag nire-review mo ang mga log o i-cache ang resulta, sa halip na sa bawat live na request.
Bakit hindi sapat ang pagsusuri sa user agent para matukoy ang GPTBot?
Header na pinipili ng client ang user agent, kaya kahit sino ay puwedeng magpadala ng GPTBot o Googlebot. Nagbababala ang Common Crawl na may mga crawler na nagpapanggap na CCBot, at naglalathala ang Bing ng gabay para suriin kung talagang galing sa Bing ang traffic na nagsasabing bingbot ito. Para matukoy nang maaasahan ang GPTBot, kailangang suriin ang dalawa: ang token sa user agent at ang source IP sa gptbot.json. Nagpapanggap ang request na may token mula sa address na wala sa listahan, at hindi naaapektuhan ang OpenAI kapag bina-block mo ito.
Nangyayari din ang kabaligtaran. Kung user agent lang ang pinapayagan ng firewall mo, nakakapasok ang mga nagpapanggap; kung IP range lang, pareho ang trato sa anumang agent mula sa network ng vendor na iyon, kahit ang gusto mong i-block. Ang pag-match sa dalawa ang maaasahang rule.
Paano makakatulong ang AISeeWhy sa pag-verify ng traffic ng AI crawler?
Sinasabi ng libreng AI crawler IP check ng AISeeWhy, nang walang account, kung pag-aari ng GPTBot o ibang AI crawler ang isang IP address. Pagkatapos, hinihiling ng libreng pagsusuri ng site ang pahina mo bilang 16 na AI at search crawler katabi ng totoong browser, kaya makikita mo kung ano ang matatanggap ng mga totoong crawler.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Ano ang user agent ng GPTBot?
Inilalathala ng OpenAI ang Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot at sinasabing maaaring magbago ang bersyon. I-match sa GPTBot at kumpirmahin ang IP laban sa https://openai.com/gptbot.json.
Ano ang user agent ng OAI-SearchBot?
Isang string na parang sa Chrome na nagtatapos sa compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Nakalista ang mga address nito sa https://openai.com/searchbot.json. Ginagamit ito ng OpenAI para ilabas ang mga site sa ChatGPT search, na ibang trabaho kaysa sa GPTBot.
Inilalathala ba ng Anthropic ang mga IP address ng ClaudeBot?
Oo. Nagli-link ang Anthropic sa https://claude.com/crawling/bots.json at sinasabing ipinapakita ng source IP na nasa listahang iyon na galing sa Anthropic ang crawler. Pinapangalanan ng help article nito ang mga bot token pero hindi ang buong user agent string.
Makikita ko ba ang Google-Extended o Applebot-Extended sa mga log ko?
Hindi. Parehong robots.txt token ang mga ito, hindi crawler. Kumukuha ng mga pahina ang Google at Apple gamit ang Googlebot at Applebot at ginagamit lang ang mga token na ito para pagpasyahan kung paano magagamit ang content para sa AI.
Nasaan ang listahan ng IP address ng bingbot?
Inilalathala ito ng Bing sa https://www.bing.com/toolbox/bingbot.json at hinihiling na i-refresh ito araw-araw. Inirerekomenda ng sarili nitong gabay ang reverse at forward DNS check, kung saan dapat magtapos ang pangalan sa search.msn.com.
Mga pinagmulan
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot