AI botlarının user agent-ləri və IP diapazonları: GPTBot, ClaudeBot, PerplexityBot və digərləri

Dərc olunub

Qısa cavab

GPTBot özünü tərkibində GPTBot/1.4; +https://openai.com/gptbot olan user agent ilə təqdim edir, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple və Common Crawl isə hər biri botlarının istifadə etdiyi IP diapazonlarının JSON siyahısını dərc edir. Sorğu yalnız hər ikisi uyğun gələndə həqiqidir: user agent botu adlandırır və mənbə IP həmin şirkətin siyahısındadır, yaxud Googlebot, bingbot, Applebot və CCBot üçün tərs və düz DNS yoxlamasından keçir. Tək user agent heç nəyi sübut etmir, çünki onu hər kəs göndərə bilər.

Loglarınızda GPTBot və ya ClaudeBot görəndə, yaxud AI axtarış botlarını buraxan firewall qaydası istəyəndə sizə iki şey lazımdır: hər botun göndərdiyi dəqiq sətir və sorğunun adını çəkdiyi şirkətdən gəldiyini sübut etmək yolu. Aşağıda hər şirkətin bu gün dərc etdiyi sətirlər, hər bot üçün rəsmi IP siyahısı və ya DNS üsulu və ünvanı yoxlamaq üçün iki skript var.

Bu səhifədə
  1. GPTBot, ClaudeBot, PerplexityBot və digər AI botlarının user agent sətirləri hansılardır?
  2. Hansı bot nə edir və hansı adlar yalnız robots.txt tokenləridir?
  3. AI botlarının sahibləri IP diapazonlarını harada dərc edir?
  4. IP ünvanını rəsmi bot siyahıları ilə necə yoxlayım?
  5. Googlebot, bingbot və ya Applebot-u tərs DNS ilə necə təsdiqləyim?
  6. GPTBot-u aşkar etmək üçün niyə user agent yoxlaması kifayət deyil?
  7. AISeeWhy AI botlarının trafikini təsdiqləməyə necə kömək edir?

GPTBot, ClaudeBot, PerplexityBot və digər AI botlarının user agent sətirləri hansılardır?

Bunlar şirkətlərin öz sənədlərindən götürülüb. OpenAI və Perplexity versiya nömrələrinin dəyişə biləcəyini qeyd edir, Google və Microsoft W.X.Y.Z olan yerə cari brauzer versiyasını qoyur, Apple isə brauzer hissəsini vaxtaşırı yenilədiyini bildirir. Bütöv sətrə deyil, GPTBot və ya bingbot kimi bot tokeninə görə uyğunlaşdırın.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic-in yardım məqaləsi ClaudeBot, Claude-SearchBot və Claude-User adlarını çəkir, amma tam user agent sətirlərini vermir, buna görə bu tokenlərə görə uyğunlaşdırın. Meta-nın botlar səhifəsi göstərilən tokenlərlə başlayan və ardınca sənədlərinə keçid gələn sətirləri sadalayır və loglarınızdakı sətirlərin bir qədər fərqlənə biləcəyini bildirir.

Hansı bot nə edir və hansı adlar yalnız robots.txt tokenləridir?

İki ad loglarınızda heç vaxt görünmür. Google-Extended Google-un taradığı məzmunun Gemini modelləri və grounding üçün istifadə oluna bilib-bilmədiyini idarə edən robots.txt tokenidir; Google bildirir ki, o, Google Search-ə daxil olmaya təsir etmir. Applebot-Extended Apple-ın sözlərinə görə veb səhifələri taramayan ikinci dərəcəli user agent-dir; o, yalnız Apple-ın Applebot-un topladığı məlumatlardan necə istifadə edə biləcəyini müəyyən edir. Özünü bunlardan biri kimi təqdim edən sorğu həqiqi deyil.

AI botlarının sahibləri IP diapazonlarını harada dərc edir?

Əksər şirkətlər eyni quruluşlu JSON faylı dərc edir: ipv4Prefix və ya ipv6Prefix olan obyektlərdən ibarət prefixes massivi və faylın nə qədər təzə olduğunu göstərən creationTime.

IP ünvanını rəsmi bot siyahıları ilə necə yoxlayım?

Bu skript hər siyahını yükləyir və ünvanın hansında olduğunu bildirir. Ona yalnız Python 3 lazımdır və IPv4 və IPv6 ilə işləyir.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Siyahılar dəyişir. Hər faylın öz creationTime dəyəri var, Perplexity firewall qaydalarınızın yenilənməsini avtomatlaşdırmağı tövsiyə edir, Bing isə siyahını hər gün yeniləməyi xahiş edir. Siyahılardan firewall-da istifadə edirsinizsə, onları bir dəfə köçürmək əvəzinə cədvəl üzrə yükləyin.

Googlebot, bingbot və ya Applebot-u tərs DNS ilə necə təsdiqləyim?

Google, Microsoft, Apple və Common Crawl eyni iki addımlı yoxlamanı sənədləşdirir: IP ünvanının adını tapın, onun şirkətin domeni ilə bitdiyini təsdiqləyin, sonra həmin adı sorğulayın və onun eyni IP-ni qaytardığını təsdiqləyin. Hər iki addım vacibdir, çünki IP diapazonuna nəzarət edən hər kəs istədiyi tərs DNS adını təyin edə bilər, amma şirkətin domenini öz ünvanına yönəldə bilməz.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google bot növləri üzrə googlebot.com, google.com və googleusercontent.com-u qəbul edir; yuxarıdakı funksiya yalnız googlebot.com-u qəbul edir, Google-un nümunələrində Googlebot-un özü məhz bundan istifadə edir. Google-un digər botları və yükləyiciləri üçün onun JSON siyahılarından istifadə edin. DNS sorğuları vaxt aparır, buna görə onları hər canlı sorğuda deyil, logları nəzərdən keçirəndə işlədin və ya nəticəni keşləyin.

GPTBot-u aşkar etmək üçün niyə user agent yoxlaması kifayət deyil?

User agent klientin özünün seçdiyi başlıqdır, buna görə hər kəs GPTBot və ya Googlebot göndərə bilər. Common Crawl xəbərdarlıq edir ki, bəzi botlar özlərini yalandan CCBot kimi təqdim edir, Bing isə özünü bingbot kimi təqdim edən trafikin həqiqətən Bing-dən gəlib-gəlmədiyini yoxlamaq üçün bələdçi dərc edir. GPTBot-u etibarlı şəkildə aşkar etmək hər ikisini yoxlamaq deməkdir: user agent-dəki tokeni və gptbot.json-dakı mənbə IP-ni. Siyahıda olmayan ünvandan tokenlə gələn sorğu təqlidçidir və onu bloklamaq OpenAI-a təsir etmir.

Əksi də olur. Firewall yalnız user agent-ə görə icazə verirsə, təqlidçilər içəri girir; yalnız IP diapazonuna görə icazə verirsə, həmin şirkətin şəbəkəsindən gələn hər agent, hətta bloklamaq istədiyiniz agent də eyni münasibət görür. Hər ikisinə görə uyğunlaşdırmaq etibarlı qaydadır.

AISeeWhy AI botlarının trafikini təsdiqləməyə necə kömək edir?

Pulsuz AISeeWhy AI botlarının IP yoxlaması hesab tələb etmədən IP ünvanının GPTBot-a və ya başqa AI botuna aid olub-olmadığını bildirir. Pulsuz sayt yoxlaması isə səhifənizi real brauzerlə yanaşı 16 AI və axtarış botu kimi sorğulayır, beləliklə həqiqi botların nə alacağını görə bilərsiniz.

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

GPTBot-un user agent-i nədir?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot sətrini dərc edir və versiyanın dəyişə biləcəyini qeyd edir. GPTBot-a görə uyğunlaşdırın və IP-ni https://openai.com/gptbot.json ilə təsdiqləyin.

OAI-SearchBot-un user agent-i nədir?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ilə bitən Chrome üslublu sətir. Onun ünvanları https://openai.com/searchbot.json-da sadalanır. OpenAI ondan saytları ChatGPT axtarışında göstərmək üçün istifadə edir, bu isə GPTBot-un işindən fərqlidir.

Anthropic ClaudeBot-un IP ünvanlarını dərc edirmi?

Bəli. Anthropic https://claude.com/crawling/bots.json-a keçid verir və bildirir ki, bu siyahıdakı mənbə IP botun Anthropic-dən olduğunu göstərir. Onun yardım məqaləsi bot tokenlərini adlandırır, amma tam user agent sətirlərini vermir.

Google-Extended və ya Applebot-Extended-i loglarımda görə bilərəmmi?

Xeyr. Hər ikisi bot deyil, robots.txt tokenidir. Google və Apple səhifələri Googlebot və Applebot ilə yükləyir və bu tokenlərdən yalnız məzmunun AI üçün necə istifadə oluna biləcəyini müəyyən etmək üçün istifadə edir.

bingbot IP ünvanları siyahısı haradadır?

Bing onu https://www.bing.com/toolbox/bingbot.json ünvanında dərc edir və hər gün yeniləməyi xahiş edir. Onun öz bələdçisi adın search.msn.com ilə bitməli olduğu tərs və düz DNS yoxlamasını tövsiyə edir.

Mənbələr

Digər məqalələr