AI ক্রলারের ইউজার এজেন্ট ও IP রেঞ্জ: GPTBot, ClaudeBot, PerplexityBot ও আরও

প্রকাশিত

সংক্ষিপ্ত উত্তর

GPTBot এমন ইউজার এজেন্ট দিয়ে নিজের পরিচয় দেয় যাতে GPTBot/1.4; +https://openai.com/gptbot থাকে, আর OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ও Common Crawl প্রত্যেকে তাদের ক্রলারের ব্যবহৃত IP রেঞ্জের একটি JSON তালিকা প্রকাশ করে। একটি রিকোয়েস্ট তখনই আসল, যখন দুটিই মেলে: ইউজার এজেন্টে ক্রলারের নাম আছে এবং সোর্স IP সেই ভেন্ডরের তালিকায় আছে, অথবা Googlebot, bingbot, Applebot ও CCBot-এর ক্ষেত্রে রিভার্স ও ফরোয়ার্ড DNS চেক পাস করে। শুধু ইউজার এজেন্ট কিছুই প্রমাণ করে না, কারণ যে কেউ এটি পাঠাতে পারে।

লগে GPTBot বা ClaudeBot দেখলে, বা AI সার্চ ক্রলারকে ঢুকতে দেয় এমন ফায়ারওয়াল রুল চাইলে দুটি জিনিস লাগে: প্রতিটি ক্রলার ঠিক কোন স্ট্রিং পাঠায়, আর রিকোয়েস্টটি সত্যিই নাম নেওয়া কোম্পানি থেকে এসেছে তা প্রমাণের উপায়। নিচে আছে প্রতিটি ভেন্ডর আজ যেভাবে প্রকাশ করে সেই স্ট্রিং, প্রতিটির অফিশিয়াল IP তালিকা বা DNS পদ্ধতি, এবং একটি ঠিকানা চেক করার দুটি স্ক্রিপ্ট।

এই পেজে
  1. GPTBot, ClaudeBot, PerplexityBot ও অন্য AI ক্রলারের ইউজার এজেন্ট স্ট্রিং কী?
  2. কোন ক্রলার কী করে, আর কোন নামগুলো শুধু robots.txt টোকেন?
  3. AI ক্রলারের ভেন্ডররা তাদের IP রেঞ্জ কোথায় প্রকাশ করে?
  4. অফিশিয়াল ক্রলার তালিকার সঙ্গে একটি IP ঠিকানা কীভাবে মেলাব?
  5. রিভার্স DNS দিয়ে Googlebot, bingbot বা Applebot কীভাবে যাচাই করব?
  6. GPTBot শনাক্ত করতে শুধু ইউজার এজেন্ট চেক যথেষ্ট নয় কেন?
  7. AI ক্রলার ট্রাফিক যাচাইয়ে AISeeWhy কীভাবে সাহায্য করে?

GPTBot, ClaudeBot, PerplexityBot ও অন্য AI ক্রলারের ইউজার এজেন্ট স্ট্রিং কী?

এগুলো ভেন্ডরদের নিজেদের ডকুমেন্টেশন থেকে কপি করা। OpenAI ও Perplexity জানায় ভার্সন নম্বর বদলাতে পারে, Google ও Microsoft W.X.Y.Z-এর জায়গায় বর্তমান ব্রাউজার ভার্সন বসায়, আর Apple বলে এটি মাঝে মাঝে ব্রাউজারের অংশটি আপডেট করে। পুরো স্ট্রিং নয়, ক্রলারের টোকেন দিয়ে মেলান, যেমন GPTBot বা bingbot।

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic-এর হেল্প আর্টিকেল ClaudeBot, Claude-SearchBot ও Claude-User-এর নাম দেয়, কিন্তু পূর্ণ ইউজার এজেন্ট স্ট্রিং দেয় না, তাই এই টোকেনগুলো দিয়ে মেলান। Meta-র ক্রলার পেজে এমন স্ট্রিংয়ের তালিকা আছে যেগুলো দেখানো টোকেন দিয়ে শুরু হয়, তারপর এর ডকুমেন্টেশনের একটি লিংক, এবং বলে আপনার লগে দেখা স্ট্রিং সামান্য আলাদা হতে পারে।

কোন ক্রলার কী করে, আর কোন নামগুলো শুধু robots.txt টোকেন?

দুটি নাম কখনো আপনার লগে আসে না। Google-Extended একটি robots.txt টোকেন, যা ঠিক করে Google-এর ক্রল করা কনটেন্ট Gemini মডেল ও উত্তরের ভিত্তি (grounding) হিসেবে ব্যবহার করা যাবে কি না; Google বলে এটি Google Search-এ অন্তর্ভুক্তিকে প্রভাবিত করে না। Applebot-Extended, Apple-এর ভাষায়, একটি সেকেন্ডারি ইউজার এজেন্ট যা ওয়েবপেজ ক্রল করে না; এটি শুধু ঠিক করে Applebot-এর সংগ্রহ করা ডেটা Apple কীভাবে ব্যবহার করতে পারে। এদের যেকোনো একটি বলে দাবি করা রিকোয়েস্ট আসল নয়।

AI ক্রলারের ভেন্ডররা তাদের IP রেঞ্জ কোথায় প্রকাশ করে?

বেশিরভাগ ভেন্ডর একই গঠনের একটি JSON ফাইল প্রকাশ করে: ipv4Prefix বা ipv6Prefix-সহ অবজেক্টের একটি prefixes অ্যারে, সঙ্গে একটি creationTime, যা জানায় ফাইলটি কত নতুন।

অফিশিয়াল ক্রলার তালিকার সঙ্গে একটি IP ঠিকানা কীভাবে মেলাব?

এই স্ক্রিপ্ট প্রতিটি তালিকা লোড করে এবং জানায় কোনটিতে ঠিকানাটি আছে। এর জন্য শুধু Python 3 লাগে, এবং এটি IPv4 ও IPv6 দুটিই সামলায়।

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

তালিকাগুলো বদলায়। প্রতিটি ফাইলে নিজের creationTime থাকে, Perplexity ফায়ারওয়াল রুলের আপডেট স্বয়ংক্রিয় করার পরামর্শ দেয়, আর Bing তার তালিকা প্রতিদিন রিফ্রেশ করতে বলে। ফায়ারওয়ালে তালিকাগুলো ব্যবহার করলে একবার কপি না করে নির্দিষ্ট সময় পরপর এনে নিন।

রিভার্স DNS দিয়ে Googlebot, bingbot বা Applebot কীভাবে যাচাই করব?

Google, Microsoft, Apple ও Common Crawl একই দুই ধাপের চেক নথিভুক্ত করে: IP ঠিকানার নাম খুঁজুন, নিশ্চিত হোন সেটি ভেন্ডরের ডোমেইনে শেষ হয়, তারপর সেই নাম খুঁজে নিশ্চিত হোন একই IP ফেরত আসে। দুটি ধাপই জরুরি, কারণ যার নিয়ন্ত্রণে একটি IP রেঞ্জ আছে সে যেকোনো রিভার্স DNS নাম সেট করতে পারে, কিন্তু ভেন্ডরের ডোমেইনকে তার দিকে ফেরাতে পারে না।

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google তার ক্রলারের ধরন অনুযায়ী googlebot.com, google.com ও googleusercontent.com গ্রহণ করে; ওপরের ফাংশনটি শুধু googlebot.com গ্রহণ করে, যা Google-এর উদাহরণে Googlebot নিজে ব্যবহার করে। Google-এর অন্য ক্রলার ও ফেচারের জন্য এর JSON তালিকা ব্যবহার করুন। DNS লুকআপে সময় লাগে, তাই প্রতিটি লাইভ রিকোয়েস্টে নয়, লগ পর্যালোচনার সময় চালান বা ফলাফল ক্যাশ করুন।

GPTBot শনাক্ত করতে শুধু ইউজার এজেন্ট চেক যথেষ্ট নয় কেন?

ইউজার এজেন্ট হলো ক্লায়েন্টের বেছে নেওয়া একটি হেডার, তাই যে কেউ GPTBot বা Googlebot পাঠাতে পারে। Common Crawl সতর্ক করে যে কিছু ক্রলার মিথ্যাভাবে CCBot বলে দাবি করে, আর Bing একটি গাইড প্রকাশ করে যাতে bingbot বলে দাবি করা ট্রাফিক সত্যিই Bing থেকে আসে কি না চেক করা যায়। GPTBot নির্ভরযোগ্যভাবে শনাক্ত করতে দুটিই চেক করতে হয়: ইউজার এজেন্টে টোকেন এবং gptbot.json-এ সোর্স IP। তালিকার বাইরের ঠিকানা থেকে টোকেনসহ আসা রিকোয়েস্ট নকল, আর সেটি ব্লক করলে OpenAI-এর ওপর কোনো প্রভাব পড়ে না।

উল্টোটাও ঘটে। আপনার ফায়ারওয়াল শুধু ইউজার এজেন্ট দেখে অনুমতি দিলে নকলরা ঢুকে পড়ে; শুধু IP রেঞ্জ দেখে অনুমতি দিলে সেই ভেন্ডরের নেটওয়ার্কের যেকোনো এজেন্ট একই আচরণ পায়, এমনকি যাকে আপনি ব্লক করতে চেয়েছিলেন সেটিও। দুটিই মেলানো হলো নির্ভরযোগ্য নিয়ম।

AI ক্রলার ট্রাফিক যাচাইয়ে AISeeWhy কীভাবে সাহায্য করে?

ফ্রি AISeeWhy AI ক্রলার IP চেক কোনো অ্যাকাউন্ট ছাড়াই জানায় একটি IP ঠিকানা GPTBot বা অন্য কোনো AI ক্রলারের কি না। এরপর ফ্রি সাইট চেক একটি আসল ব্রাউজারের পাশাপাশি 16টি AI ও সার্চ ক্রলার হিসেবে আপনার পেজ চায়, তাই আসল ক্রলারেরা কী পেত তা দেখতে পান।

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

GPTBot-এর ইউজার এজেন্ট কী?

OpenAI প্রকাশ করে Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot এবং জানায় ভার্সন বদলাতে পারে। GPTBot দিয়ে মেলান এবং IP-টি https://openai.com/gptbot.json-এর সঙ্গে মিলিয়ে নিশ্চিত হোন।

OAI-SearchBot-এর ইউজার এজেন্ট কী?

Chrome-এর মতো একটি স্ট্রিং, যা compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot দিয়ে শেষ হয়। এর ঠিকানাগুলো https://openai.com/searchbot.json-এ তালিকাভুক্ত। OpenAI এটি ChatGPT সার্চে সাইট তুলে ধরতে ব্যবহার করে, যা GPTBot-এর থেকে আলাদা কাজ।

Anthropic কি ClaudeBot-এর IP ঠিকানা প্রকাশ করে?

হ্যাঁ। Anthropic https://claude.com/crawling/bots.json-এর লিংক দেয় এবং বলে, সেই তালিকায় থাকা সোর্স IP দেখায় যে ক্রলারটি Anthropic-এর। এর হেল্প আর্টিকেল বটের টোকেনের নাম দেয়, কিন্তু পূর্ণ ইউজার এজেন্ট স্ট্রিং নয়।

আমার লগে কি Google-Extended বা Applebot-Extended দেখা যায়?

না। দুটিই robots.txt টোকেন, ক্রলার নয়। Google ও Apple Googlebot ও Applebot দিয়ে পেজ আনে এবং এই টোকেনগুলো শুধু ঠিক করতে ব্যবহার করে কনটেন্ট AI-এর জন্য কীভাবে ব্যবহার করা যাবে।

bingbot-এর IP ঠিকানার তালিকা কোথায়?

Bing এটি https://www.bing.com/toolbox/bingbot.json-এ প্রকাশ করে এবং প্রতিদিন রিফ্রেশ করতে বলে। এর নিজের গাইড রিভার্স ও ফরোয়ার্ড DNS চেকের পরামর্শ দেয়, যেখানে নামটি search.msn.com-এ শেষ হতে হবে।

উৎস

আরও আর্টিকেল