AI کرالرز کے یوزر ایجنٹس اور IP رینجز: GPTBot، ClaudeBot، PerplexityBot اور مزید

شائع شدہ

مختصر جواب

GPTBot اپنی شناخت ایسے یوزر ایجنٹ سے کرتا ہے جس میں GPTBot/1.4; +https://openai.com/gptbot ہو، اور OpenAI، Anthropic، Perplexity، Google، Microsoft، Apple اور Common Crawl ہر ایک اپنے کرالرز کی IP رینجز کی JSON فہرست شائع کرتے ہیں۔ درخواست تبھی اصلی ہے جب دونوں میل کھائیں: یوزر ایجنٹ کرالر کا نام لے اور ماخذ IP اس کمپنی کی فہرست میں ہو، یا Googlebot، bingbot، Applebot اور CCBot کے لیے reverse اور forward DNS جانچ میں پاس ہو۔ اکیلا یوزر ایجنٹ کچھ ثابت نہیں کرتا، کیونکہ کوئی بھی اسے بھیج سکتا ہے۔

جب آپ اپنے لاگز میں GPTBot یا ClaudeBot دیکھیں، یا ایسا فائر وال اصول چاہیں جو AI سرچ کرالرز کو گزرنے دے، تو آپ کو دو چیزیں چاہئیں: ہر کرالر کی بھیجی جانے والی بالکل درست اسٹرنگ، اور یہ ثابت کرنے کا طریقہ کہ درخواست اسی کمپنی سے آئی جس کا وہ نام لیتی ہے۔ نیچے وہ اسٹرنگز ہیں جو ہر کمپنی آج شائع کرتی ہے، ہر ایک کی سرکاری IP فہرست یا DNS طریقہ، اور کسی ایڈریس کو جانچنے کے لیے دو اسکرپٹس۔

اس صفحے پر
  1. GPTBot، ClaudeBot، PerplexityBot اور دوسرے AI کرالرز کی یوزر ایجنٹ اسٹرنگز کیا ہیں؟
  2. کون سا کرالر کیا کرتا ہے، اور کون سے نام صرف robots.txt ٹوکن ہیں؟
  3. AI کرالر کمپنیاں اپنی IP رینجز کہاں شائع کرتی ہیں؟
  4. IP ایڈریس کو سرکاری کرالر فہرستوں سے کیسے جانچوں؟
  5. Googlebot، bingbot یا Applebot کی reverse DNS سے تصدیق کیسے کروں؟
  6. GPTBot پہچاننے کے لیے یوزر ایجنٹ کی جانچ کافی کیوں نہیں؟
  7. AISeeWhy، AI کرالر ٹریفک کی تصدیق میں کیسے مدد کر سکتا ہے؟

GPTBot، ClaudeBot، PerplexityBot اور دوسرے AI کرالرز کی یوزر ایجنٹ اسٹرنگز کیا ہیں؟

یہ کمپنیوں کی اپنی دستاویزات سے نقل کی گئی ہیں۔ OpenAI اور Perplexity بتاتے ہیں کہ ورژن نمبر بدل سکتے ہیں، Google اور Microsoft جہاں W.X.Y.Z ہو وہاں موجودہ براؤزر ورژن رکھتے ہیں، اور Apple کہتا ہے کہ وہ کبھی کبھار براؤزر والا حصہ اپ ڈیٹ کرتا ہے۔ پوری اسٹرنگ کے بجائے کرالر کے ٹوکن، جیسے GPTBot یا bingbot، پر مطابقت کریں۔

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic کا مدد کا مضمون ClaudeBot، Claude-SearchBot اور Claude-User کے نام دیتا ہے لیکن مکمل یوزر ایجنٹ اسٹرنگز نہیں دیتا، اس لیے ان ٹوکنز پر مطابقت کریں۔ Meta کا کرالر صفحہ ایسی اسٹرنگز درج کرتا ہے جو دکھائے گئے ٹوکنز سے شروع ہو کر اس کی دستاویزات کے لنک پر ختم ہوتی ہیں، اور کہتا ہے کہ آپ کے لاگز میں اسٹرنگز تھوڑی مختلف ہو سکتی ہیں۔

کون سا کرالر کیا کرتا ہے، اور کون سے نام صرف robots.txt ٹوکن ہیں؟

دو نام آپ کے لاگز میں کبھی نہیں آتے۔ Google-Extended ایک robots.txt ٹوکن ہے جو طے کرتا ہے کہ Google کا کرال کیا گیا مواد Gemini ماڈلز اور grounding کے لیے استعمال ہو سکتا ہے یا نہیں؛ Google کہتا ہے کہ یہ Google Search میں شمولیت پر اثر نہیں ڈالتا۔ Applebot-Extended، Apple کے الفاظ میں، ایک ثانوی یوزر ایجنٹ ہے جو ویب صفحات کرال نہیں کرتا؛ یہ صرف طے کرتا ہے کہ Apple، Applebot کا جمع کیا ہوا ڈیٹا کیسے استعمال کر سکتا ہے۔ ان میں سے کسی ہونے کا دعویٰ کرنے والی درخواست اصلی نہیں۔

AI کرالر کمپنیاں اپنی IP رینجز کہاں شائع کرتی ہیں؟

زیادہ تر کمپنیاں ایک ہی شکل کی JSON فائل شائع کرتی ہیں: ipv4Prefix یا ipv6Prefix والے آبجیکٹس کی prefixes array، اور ایک creationTime جو بتاتا ہے کہ فائل کتنی تازہ ہے۔

IP ایڈریس کو سرکاری کرالر فہرستوں سے کیسے جانچوں؟

یہ اسکرپٹ ہر فہرست لوڈ کرتا ہے اور بتاتا ہے کہ ایڈریس کس فہرست میں ہے۔ اسے صرف Python 3 چاہیے، اور یہ IPv4 اور IPv6 دونوں سنبھالتا ہے۔

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

فہرستیں بدلتی ہیں۔ ہر فائل کا اپنا creationTime ہوتا ہے، Perplexity آپ کے فائر وال اصولوں کی اپ ڈیٹ خودکار بنانے کی تجویز دیتا ہے، اور Bing اپنی فہرست روزانہ تازہ کرنے کو کہتا ہے۔ اگر آپ فہرستیں فائر وال میں استعمال کرتے ہیں تو انہیں ایک بار نقل کرنے کے بجائے شیڈول پر منگوائیں۔

Googlebot، bingbot یا Applebot کی reverse DNS سے تصدیق کیسے کروں؟

Google، Microsoft، Apple اور Common Crawl ایک ہی دو قدمی جانچ دستاویز کرتے ہیں: IP ایڈریس کا نام معلوم کریں، تصدیق کریں کہ وہ کمپنی کے ڈومین پر ختم ہوتا ہے، پھر اس نام کو تلاش کریں اور تصدیق کریں کہ وہی IP لوٹتا ہے۔ دونوں قدم اہم ہیں، کیونکہ IP رینج کنٹرول کرنے والا کوئی بھی شخص اپنی پسند کا reverse DNS نام رکھ سکتا ہے، لیکن کمپنی کے ڈومین کو اپنی طرف اشارہ نہیں کروا سکتا۔

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google اپنے کرالر کی اقسام میں googlebot.com، google.com اور googleusercontent.com قبول کرتا ہے؛ اوپر کا function صرف googlebot.com قبول کرتا ہے، جو Google کی مثالوں میں خود Googlebot استعمال کرتا ہے۔ Google کے دوسرے کرالرز اور fetchers کے لیے اس کی JSON فہرستیں استعمال کریں۔ DNS lookups میں وقت لگتا ہے، اس لیے انہیں ہر لائیو درخواست پر نہیں بلکہ لاگز کا جائزہ لیتے وقت چلائیں یا نتیجہ کیش کریں۔

GPTBot پہچاننے کے لیے یوزر ایجنٹ کی جانچ کافی کیوں نہیں؟

یوزر ایجنٹ ایک ہیڈر ہے جو کلائنٹ خود چنتا ہے، اس لیے کوئی بھی GPTBot یا Googlebot بھیج سکتا ہے۔ Common Crawl خبردار کرتا ہے کہ کچھ کرالرز جھوٹا دعویٰ کرتے ہیں کہ وہ CCBot ہیں، اور Bing ایک گائیڈ شائع کرتا ہے کہ کیسے جانچیں کہ bingbot ہونے کا دعویٰ کرنے والا ٹریفک واقعی Bing سے ہے۔ GPTBot کو قابل اعتماد طور پر پہچاننے کا مطلب ہے دونوں جانچنا: یوزر ایجنٹ میں ٹوکن اور gptbot.json میں ماخذ IP۔ غیر درج ایڈریس سے ٹوکن کے ساتھ آنے والی درخواست نقال ہے، اور اسے بلاک کرنے سے OpenAI پر اثر نہیں پڑتا۔

الٹا بھی ہوتا ہے۔ اگر آپ کا فائر وال صرف یوزر ایجنٹ کی اجازت دیتا ہے تو نقال اندر آ جاتے ہیں؛ اگر صرف IP رینج کی اجازت دیتا ہے تو اس کمپنی کے نیٹ ورک سے آنے والے ہر ایجنٹ کے ساتھ ایک جیسا سلوک ہوتا ہے، اس کے ساتھ بھی جسے آپ بلاک کرنا چاہتے تھے۔ دونوں کی مطابقت ہی قابل اعتماد اصول ہے۔

AISeeWhy، AI کرالر ٹریفک کی تصدیق میں کیسے مدد کر سکتا ہے؟

مفت AISeeWhy کی AI کرالر IP جانچ، اکاؤنٹ کے بغیر، بتاتی ہے کہ کوئی IP ایڈریس GPTBot یا کسی دوسرے AI کرالر کا ہے یا نہیں۔ پھر مفت سائٹ جانچ آپ کا صفحہ ایک اصل براؤزر کے ساتھ 16 AI اور سرچ کرالرز کی طرح منگواتی ہے، تاکہ آپ دیکھ سکیں کہ اصلی کرالرز کو کیا ملے گا۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

GPTBot کا یوزر ایجنٹ کیا ہے؟

OpenAI یہ شائع کرتا ہے: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot، اور بتاتا ہے کہ ورژن بدل سکتا ہے۔ GPTBot پر مطابقت کریں اور IP کی تصدیق https://openai.com/gptbot.json سے کریں۔

OAI-SearchBot کا یوزر ایجنٹ کیا ہے؟

Chrome جیسی ایک اسٹرنگ جو compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot پر ختم ہوتی ہے۔ اس کے ایڈریسز https://openai.com/searchbot.json میں درج ہیں۔ OpenAI اسے ChatGPT سرچ میں سائٹس دکھانے کے لیے استعمال کرتا ہے، جو GPTBot سے مختلف کام ہے۔

کیا Anthropic، ClaudeBot کے IP ایڈریسز شائع کرتا ہے؟

ہاں۔ Anthropic، https://claude.com/crawling/bots.json کا لنک دیتا ہے اور کہتا ہے کہ اس فہرست کا ماخذ IP دکھاتا ہے کہ کرالر Anthropic سے ہے۔ اس کا مدد کا مضمون بوٹ ٹوکنز کے نام دیتا ہے لیکن مکمل یوزر ایجنٹ اسٹرنگز نہیں۔

کیا مجھے اپنے لاگز میں Google-Extended یا Applebot-Extended نظر آ سکتے ہیں؟

نہیں۔ دونوں robots.txt ٹوکن ہیں، کرالر نہیں۔ Google اور Apple صفحات Googlebot اور Applebot سے منگواتے ہیں اور یہ ٹوکن صرف یہ طے کرنے کے لیے استعمال کرتے ہیں کہ مواد AI کے لیے کیسے استعمال ہو سکتا ہے۔

bingbot کے IP ایڈریسز کی فہرست کہاں ہے؟

Bing اسے https://www.bing.com/toolbox/bingbot.json پر شائع کرتا ہے اور روزانہ تازہ کرنے کو کہتا ہے۔ اس کی اپنی گائیڈ reverse اور forward DNS جانچ کی سفارش کرتی ہے، جس میں نام کا search.msn.com پر ختم ہونا ضروری ہے۔

ماخذ

مزید مضامین