AI botlarının user agent-ləri və IP diapazonları: GPTBot, ClaudeBot, PerplexityBot və digərləri
GPTBot özünü tərkibində GPTBot/1.4; +https://openai.com/gptbot olan user agent ilə təqdim edir, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple və Common Crawl isə hər biri botlarının istifadə etdiyi IP diapazonlarının JSON siyahısını dərc edir. Sorğu yalnız hər ikisi uyğun gələndə həqiqidir: user agent botu adlandırır və mənbə IP həmin şirkətin siyahısındadır, yaxud Googlebot, bingbot, Applebot və CCBot üçün tərs və düz DNS yoxlamasından keçir. Tək user agent heç nəyi sübut etmir, çünki onu hər kəs göndərə bilər.
Loglarınızda GPTBot və ya ClaudeBot görəndə, yaxud AI axtarış botlarını buraxan firewall qaydası istəyəndə sizə iki şey lazımdır: hər botun göndərdiyi dəqiq sətir və sorğunun adını çəkdiyi şirkətdən gəldiyini sübut etmək yolu. Aşağıda hər şirkətin bu gün dərc etdiyi sətirlər, hər bot üçün rəsmi IP siyahısı və ya DNS üsulu və ünvanı yoxlamaq üçün iki skript var.
Bu səhifədə
- GPTBot, ClaudeBot, PerplexityBot və digər AI botlarının user agent sətirləri hansılardır?
- Hansı bot nə edir və hansı adlar yalnız robots.txt tokenləridir?
- AI botlarının sahibləri IP diapazonlarını harada dərc edir?
- IP ünvanını rəsmi bot siyahıları ilə necə yoxlayım?
- Googlebot, bingbot və ya Applebot-u tərs DNS ilə necə təsdiqləyim?
- GPTBot-u aşkar etmək üçün niyə user agent yoxlaması kifayət deyil?
- AISeeWhy AI botlarının trafikini təsdiqləməyə necə kömək edir?
GPTBot, ClaudeBot, PerplexityBot və digər AI botlarının user agent sətirləri hansılardır?
Bunlar şirkətlərin öz sənədlərindən götürülüb. OpenAI və Perplexity versiya nömrələrinin dəyişə biləcəyini qeyd edir, Google və Microsoft W.X.Y.Z olan yerə cari brauzer versiyasını qoyur, Apple isə brauzer hissəsini vaxtaşırı yenilədiyini bildirir. Bütöv sətrə deyil, GPTBot və ya bingbot kimi bot tokeninə görə uyğunlaşdırın.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic-in yardım məqaləsi ClaudeBot, Claude-SearchBot və Claude-User adlarını çəkir, amma tam user agent sətirlərini vermir, buna görə bu tokenlərə görə uyğunlaşdırın. Meta-nın botlar səhifəsi göstərilən tokenlərlə başlayan və ardınca sənədlərinə keçid gələn sətirləri sadalayır və loglarınızdakı sətirlərin bir qədər fərqlənə biləcəyini bildirir.
Hansı bot nə edir və hansı adlar yalnız robots.txt tokenləridir?
GPTBotOpenAI-ın əsas modellərini öyrətmək üçün istifadə oluna bilən məzmunu toplayır.OAI-SearchBotsaytları ChatGPT axtarışında göstərir.ChatGPT-Useristifadəçinin başlatdığı əməliyyatlar üçün səhifələri yükləyir və OpenAI bildirir ki, robots.txt qaydaları ona tətbiq olunmaya bilər.OAI-AdsBotChatGPT reklamı kimi təqdim edilən səhifələri yoxlayır.ClaudeBotAnthropic modelləri üçün məlumat toplayır,Claude-SearchBotaxtarış nəticələrini yaxşılaşdırır,Claude-Userisə insan Claude-a sual verəndə səhifələri yükləyir.PerplexityBotPerplexity axtarışında saytları göstərir və onlara keçid verir, əsas modellərin təlimi üçün istifadə olunmur.Perplexity-Useristifadəçi sual verəndə səhifələri yükləyir.meta-externalagentAI modellərini öyrətmək və ya məzmunu indeksləmək üçün tarayır,meta-webindexerMeta AI axtarışı üçün məzmunu indeksləyir,meta-externalfetcherisə istifadəçinin istəyi ilə keçidləri yükləyir.CCBotaçıq veb arxivi olan Common Crawl-un botudur.
İki ad loglarınızda heç vaxt görünmür. Google-Extended Google-un taradığı məzmunun Gemini modelləri və grounding üçün istifadə oluna bilib-bilmədiyini idarə edən robots.txt tokenidir; Google bildirir ki, o, Google Search-ə daxil olmaya təsir etmir. Applebot-Extended Apple-ın sözlərinə görə veb səhifələri taramayan ikinci dərəcəli user agent-dir; o, yalnız Apple-ın Applebot-un topladığı məlumatlardan necə istifadə edə biləcəyini müəyyən edir. Özünü bunlardan biri kimi təqdim edən sorğu həqiqi deyil.
AI botlarının sahibləri IP diapazonlarını harada dərc edir?
Əksər şirkətlər eyni quruluşlu JSON faylı dərc edir: ipv4Prefix və ya ipv6Prefix olan obyektlərdən ibarət prefixes massivi və faylın nə qədər təzə olduğunu göstərən creationTime.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonvəhttps://openai.com/adsbot.json, hər agent üçün biri. - Anthropic:
https://claude.com/crawling/bots.json, botları üçün bir siyahı. Anthropic bildirir ki, bu siyahıdakı ünvan botun Anthropic-dən gəldiyini göstərir, həmçinin IP üzrə bloklama imtinanı etibarlı şəkildə təmin etməyə bilər. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonvəhttps://www.perplexity.ai/perplexity-user.json. - Google: Googlebot üçün
https://developers.google.com/static/crawling/ipranges/common-crawlers.json, xüsusi botlar və istifadəçinin başlatdığı yükləyicilər üçün ayrıca fayllarla. Tərs DNS də işləyir. - Apple:
https://search.developer.apple.com/applebot.jsonvə yaapplebot.apple.comdaxilində tərs DNS. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4 üçün o, həmçinincrawl.commoncrawl.orgaltında düz DNS ilə təsdiqlənmiş tərs DNS-i tövsiyə edir; IPv6 ünvanlarının tərs DNS-i yoxdur. - Microsoft:
https://www.bing.com/toolbox/bingbot.json; Bing onu hər gün yeniləməyi xahiş edir, çünki istənilən vaxt dəyişə bilər, yaxudsearch.msn.comilə bitən tərs DNS. Bing həmçinin açıq Verify Bingbot aləti təklif edir. - Meta: onun botlar səhifəsi IP siyahısı dərc etmir.
IP ünvanını rəsmi bot siyahıları ilə necə yoxlayım?
Bu skript hər siyahını yükləyir və ünvanın hansında olduğunu bildirir. Ona yalnız Python 3 lazımdır və IPv4 və IPv6 ilə işləyir.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Siyahılar dəyişir. Hər faylın öz creationTime dəyəri var, Perplexity firewall qaydalarınızın yenilənməsini avtomatlaşdırmağı tövsiyə edir, Bing isə siyahını hər gün yeniləməyi xahiş edir. Siyahılardan firewall-da istifadə edirsinizsə, onları bir dəfə köçürmək əvəzinə cədvəl üzrə yükləyin.
Googlebot, bingbot və ya Applebot-u tərs DNS ilə necə təsdiqləyim?
Google, Microsoft, Apple və Common Crawl eyni iki addımlı yoxlamanı sənədləşdirir: IP ünvanının adını tapın, onun şirkətin domeni ilə bitdiyini təsdiqləyin, sonra həmin adı sorğulayın və onun eyni IP-ni qaytardığını təsdiqləyin. Hər iki addım vacibdir, çünki IP diapazonuna nəzarət edən hər kəs istədiyi tərs DNS adını təyin edə bilər, amma şirkətin domenini öz ünvanına yönəldə bilməz.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google bot növləri üzrə googlebot.com, google.com və googleusercontent.com-u qəbul edir; yuxarıdakı funksiya yalnız googlebot.com-u qəbul edir, Google-un nümunələrində Googlebot-un özü məhz bundan istifadə edir. Google-un digər botları və yükləyiciləri üçün onun JSON siyahılarından istifadə edin. DNS sorğuları vaxt aparır, buna görə onları hər canlı sorğuda deyil, logları nəzərdən keçirəndə işlədin və ya nəticəni keşləyin.
GPTBot-u aşkar etmək üçün niyə user agent yoxlaması kifayət deyil?
User agent klientin özünün seçdiyi başlıqdır, buna görə hər kəs GPTBot və ya Googlebot göndərə bilər. Common Crawl xəbərdarlıq edir ki, bəzi botlar özlərini yalandan CCBot kimi təqdim edir, Bing isə özünü bingbot kimi təqdim edən trafikin həqiqətən Bing-dən gəlib-gəlmədiyini yoxlamaq üçün bələdçi dərc edir. GPTBot-u etibarlı şəkildə aşkar etmək hər ikisini yoxlamaq deməkdir: user agent-dəki tokeni və gptbot.json-dakı mənbə IP-ni. Siyahıda olmayan ünvandan tokenlə gələn sorğu təqlidçidir və onu bloklamaq OpenAI-a təsir etmir.
Əksi də olur. Firewall yalnız user agent-ə görə icazə verirsə, təqlidçilər içəri girir; yalnız IP diapazonuna görə icazə verirsə, həmin şirkətin şəbəkəsindən gələn hər agent, hətta bloklamaq istədiyiniz agent də eyni münasibət görür. Hər ikisinə görə uyğunlaşdırmaq etibarlı qaydadır.
AISeeWhy AI botlarının trafikini təsdiqləməyə necə kömək edir?
Pulsuz AISeeWhy AI botlarının IP yoxlaması hesab tələb etmədən IP ünvanının GPTBot-a və ya başqa AI botuna aid olub-olmadığını bildirir. Pulsuz sayt yoxlaması isə səhifənizi real brauzerlə yanaşı 16 AI və axtarış botu kimi sorğulayır, beləliklə həqiqi botların nə alacağını görə bilərsiniz.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- AI botlarının IP yoxlaması
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
GPTBot-un user agent-i nədir?
OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot sətrini dərc edir və versiyanın dəyişə biləcəyini qeyd edir. GPTBot-a görə uyğunlaşdırın və IP-ni https://openai.com/gptbot.json ilə təsdiqləyin.
OAI-SearchBot-un user agent-i nədir?
compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ilə bitən Chrome üslublu sətir. Onun ünvanları https://openai.com/searchbot.json-da sadalanır. OpenAI ondan saytları ChatGPT axtarışında göstərmək üçün istifadə edir, bu isə GPTBot-un işindən fərqlidir.
Anthropic ClaudeBot-un IP ünvanlarını dərc edirmi?
Bəli. Anthropic https://claude.com/crawling/bots.json-a keçid verir və bildirir ki, bu siyahıdakı mənbə IP botun Anthropic-dən olduğunu göstərir. Onun yardım məqaləsi bot tokenlərini adlandırır, amma tam user agent sətirlərini vermir.
Google-Extended və ya Applebot-Extended-i loglarımda görə bilərəmmi?
Xeyr. Hər ikisi bot deyil, robots.txt tokenidir. Google və Apple səhifələri Googlebot və Applebot ilə yükləyir və bu tokenlərdən yalnız məzmunun AI üçün necə istifadə oluna biləcəyini müəyyən etmək üçün istifadə edir.
bingbot IP ünvanları siyahısı haradadır?
Bing onu https://www.bing.com/toolbox/bingbot.json ünvanında dərc edir və hər gün yeniləməyi xahiş edir. Onun öz bələdçisi adın search.msn.com ilə bitməli olduğu tərs və düz DNS yoxlamasını tövsiyə edir.
Mənbələr
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot