AI kraulerlarining user agentlari va IP diapazonlari: GPTBot, ClaudeBot, PerplexityBot va boshqalar

Eʼlon qilingan

Qisqa javob

GPTBot oʻzini GPTBot/1.4; +https://openai.com/gptbot qismi bor user agent bilan tanishtiradi, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple va Common Crawl esa har biri oʻz kraulerlari ishlatadigan IP diapazonlarining JSON roʻyxatini eʼlon qiladi. Soʻrov faqat ikkalasi mos kelganda haqiqiy: user agent kraulerni nomlaydi va manba IP shu kompaniya roʻyxatida boʻladi yoki Googlebot, bingbot, Applebot va CCBot uchun teskari va toʻgʻri DNS tekshiruvidan oʻtadi. User agentning oʻzi hech narsani isbotlamaydi, chunki uni istalgan kishi yuborishi mumkin.

Loglaringizda GPTBot yoki ClaudeBotni koʻrganingizda yoki AI qidiruv kraulerlarini oʻtkazadigan firewall qoidasi kerak boʻlganda sizga ikki narsa kerak: har bir krauler yuboradigan aniq satr va soʻrov u nomlagan kompaniyadan kelganini isbotlash usuli. Quyida har bir kompaniya bugun eʼlon qilgan satrlar, har biri uchun rasmiy IP roʻyxati yoki DNS usuli va manzilni tekshirish uchun ishga tushirsa boʻladigan ikkita skript keltirilgan.

Ushbu sahifada
  1. GPTBot, ClaudeBot, PerplexityBot va boshqa AI kraulerlarining user agent satrlari qanday?
  2. Qaysi krauler nima qiladi va qaysi nomlar faqat robots.txt tokenlari?
  3. AI krauleri kompaniyalari IP diapazonlarini qayerda eʼlon qiladi?
  4. IP manzilni rasmiy krauler roʻyxatlari bilan qanday tekshiraman?
  5. Googlebot, bingbot yoki Applebotʼni teskari DNS bilan qanday tekshiraman?
  6. Nega GPTBotʼni aniqlash uchun user agentni tekshirish yetarli emas?
  7. AISeeWhy AI kraulerlari trafigini tekshirishda qanday yordam beradi?

GPTBot, ClaudeBot, PerplexityBot va boshqa AI kraulerlarining user agent satrlari qanday?

Ular kompaniyalarning oʻz hujjatlaridan koʻchirilgan. OpenAI va Perplexity versiya raqamlari oʻzgarishi mumkinligini qayd etadi, Google va Microsoft W.X.Y.Z turgan joyga brauzerning joriy versiyasini qoʻyadi, Apple esa brauzer qismini vaqti-vaqti bilan yangilashini aytadi. Butun satr boʻyicha emas, GPTBot yoki bingbot kabi krauler tokeni boʻyicha solishtiring.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropicʼning yordam maqolasi ClaudeBot, Claude-SearchBot va Claude-Userni nomlaydi, lekin toʻliq user agent satrlarini keltirmaydi, shuning uchun shu tokenlar boʻyicha solishtiring. Metaʼning krauler sahifasi koʻrsatilgan tokenlar bilan boshlanib, soʻng uning hujjatlariga havola keladigan satrlarni sanab oʻtadi va loglaringizdagi satrlar biroz farq qilishi mumkinligini aytadi.

Qaysi krauler nima qiladi va qaysi nomlar faqat robots.txt tokenlari?

Ikki nom loglaringizda hech qachon chiqmaydi. Google-Extended — Google kraul qilgan kontent Gemini modellari va grounding uchun ishlatilishi mumkinligini boshqaradigan robots.txt tokeni; Google aytishicha, u Google qidiruviga kirishga taʼsir qilmaydi. Applebot-Extended esa Appleʼning soʻzlari bilan aytganda, veb-sahifalarni kraul qilmaydigan ikkilamchi user agent; u faqat Apple Applebot toʻplagan maʼlumotlardan qanday foydalanishi mumkinligini hal qiladi. Oʻzini ulardan biri deb koʻrsatgan soʻrov haqiqiy emas.

AI krauleri kompaniyalari IP diapazonlarini qayerda eʼlon qiladi?

Koʻpchilik kompaniyalar bir xil shakldagi JSON faylni eʼlon qiladi: ipv4Prefix yoki ipv6Prefix bor obyektlardan iborat prefixes massivi hamda roʻyxat qanchalik yangi ekanini koʻrsatadigan creationTime.

IP manzilni rasmiy krauler roʻyxatlari bilan qanday tekshiraman?

Bu skript har bir roʻyxatni yuklaydi va manzil qaysi birida borligini xabar qiladi. Unga faqat Python 3 kerak, u IPv4 va IPv6 bilan ishlaydi.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Roʻyxatlar oʻzgaradi. Har bir faylda oʻz creationTime qiymati bor, Perplexity firewall qoidalaringizni yangilashni avtomatlashtirishni tavsiya qiladi, Bing esa roʻyxatini har kuni yangilashni soʻraydi. Roʻyxatlardan firewallda foydalansangiz, ularni bir marta koʻchirib olish oʻrniga jadval boʻyicha yuklang.

Googlebot, bingbot yoki Applebotʼni teskari DNS bilan qanday tekshiraman?

Google, Microsoft, Apple va Common Crawl bir xil ikki bosqichli tekshiruvni hujjatlashtiradi: IP manzilning nomini aniqlang, u kompaniya domeni bilan tugashini tasdiqlang, soʻng shu nomni qidirib, u xuddi shu IPʼni qaytarishini tasdiqlang. Ikkala bosqich ham muhim, chunki IP diapazonini boshqaradigan har kim istalgan teskari DNS nomini oʻrnatishi mumkin, lekin kompaniya domenini oʻziga yoʻnaltira olmaydi.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google oʻz krauler turlari boʻyicha googlebot.com, google.com va googleusercontent.comni qabul qiladi; yuqoridagi funksiya faqat googlebot.comni qabul qiladi, Google misollarida Googlebotʼning oʻzi aynan shundan foydalanadi. Googleʼning boshqa kraulerlari va yuklovchilari uchun uning JSON roʻyxatlaridan foydalaning. DNS soʻrovlari vaqt oladi, shuning uchun ularni har bir jonli soʻrovda emas, loglarni koʻrib chiqqanda ishga tushiring yoki natijani keshlang.

Nega GPTBotʼni aniqlash uchun user agentni tekshirish yetarli emas?

User agent — mijoz oʻzi tanlaydigan sarlavha, shuning uchun GPTBot yoki Googlebotni istalgan kishi yuborishi mumkin. Common Crawl baʼzi kraulerlar oʻzini yolgʻondan CCBot deb koʻrsatishidan ogohlantiradi, Bing esa oʻzini bingbot deb koʻrsatgan trafik haqiqatan Bingʼdan kelishini tekshirish boʻyicha qoʻllanma eʼlon qiladi. GPTBotʼni ishonchli aniqlash ikkalasini tekshirishni bildiradi: user agentdagi token va gptbot.json dagi manba IP. Roʻyxatda yoʻq manzildan token bilan kelgan soʻrov — taqlidchi va uni bloklash OpenAIʼga taʼsir qilmaydi.

Teskarisi ham boʻladi. Firewallingiz faqat user agentga ruxsat bersa, taqlidchilar kirib keladi; faqat IP diapazoniga ruxsat bersa, shu kompaniya tarmogʻidagi har qanday agent, hatto siz bloklamoqchi boʻlgani ham, bir xil munosabatni oladi. Ikkalasini solishtirish — ishonchli qoida.

AISeeWhy AI kraulerlari trafigini tekshirishda qanday yordam beradi?

AISeeWhyʼning bepul AI krauleri IP tekshiruvi hisobsiz IP manzil GPTBot yoki boshqa AI krauleriga tegishli ekanini aytadi. Soʻng bepul sayt tekshiruvi sahifangizni haqiqiy brauzer bilan yonma-yon 16 ta AI va qidiruv krauleri sifatida soʻraydi, shunda haqiqiy kraulerlar nima olishini koʻrasiz.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

GPTBot user agenti qanday?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot satrini eʼlon qiladi va versiya oʻzgarishi mumkinligini qayd etadi. GPTBot boʻyicha solishtiring va IPʼni https://openai.com/gptbot.json bilan tasdiqlang.

OAI-SearchBot user agenti qanday?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot bilan tugaydigan Chrome uslubidagi satr. Uning manzillari https://openai.com/searchbot.json da keltirilgan. OpenAI undan saytlarni ChatGPT qidiruvida koʻrsatish uchun foydalanadi, bu GPTBotdan farqli vazifa.

Anthropic ClaudeBot IP manzillarini eʼlon qiladimi?

Ha. Anthropic https://claude.com/crawling/bots.json ga havola beradi va shu roʻyxatdagi manba IP krauler Anthropicʼdan ekanini koʻrsatishini aytadi. Uning yordam maqolasi bot tokenlarini nomlaydi, lekin toʻliq user agent satrlarini emas.

Loglarimda Google-Extended yoki Applebot-Extendedʼni koʻra olamanmi?

Yoʻq. Ikkalasi ham krauler emas, robots.txt tokenlari. Google va Apple sahifalarni Googlebot va Applebot bilan yuklaydi va bu tokenlardan faqat kontent AI uchun qanday ishlatilishi mumkinligini hal qilishda foydalanadi.

bingbot IP manzillari roʻyxati qayerda?

Bing uni https://www.bing.com/toolbox/bingbot.json da eʼlon qiladi va har kuni yangilashni soʻraydi. Uning oʻz qoʻllanmasi teskari va toʻgʻri DNS tekshiruvini tavsiya qiladi, bunda nom search.msn.com bilan tugashi kerak.

Manbalar

Boshqa maqolalar