AI क्रॉलर के user agent और IP रेंज: GPTBot, ClaudeBot, PerplexityBot और अन्य

प्रकाशित

संक्षिप्त उत्तर

GPTBot ख़ुद को ऐसे user agent से पहचानता है जिसमें GPTBot/1.4; +https://openai.com/gptbot होता है, और OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple और Common Crawl अपने क्रॉलर की IP रेंज की JSON सूची प्रकाशित करते हैं। कोई अनुरोध तभी असली है जब दोनों मेल खाएं: user agent में क्रॉलर का नाम हो और स्रोत IP उस वेंडर की सूची में हो, या Googlebot, bingbot, Applebot और CCBot के लिए reverse और forward DNS जांच पास करे। सिर्फ़ user agent कुछ साबित नहीं करता, क्योंकि उसे कोई भी भेज सकता है।

जब आप अपने लॉग में GPTBot या ClaudeBot देखते हैं, या ऐसा फ़ायरवॉल नियम चाहते हैं जो AI सर्च क्रॉलर को आने दे, तो आपको दो चीज़ें चाहिए: हर क्रॉलर की भेजी जाने वाली सटीक स्ट्रिंग, और यह साबित करने का तरीका कि अनुरोध सच में उसी कंपनी से आया जिसका नाम उसमें है। नीचे हर वेंडर की आज प्रकाशित स्ट्रिंग, हर एक की आधिकारिक IP सूची या DNS तरीका, और किसी पते की जांच के लिए दो स्क्रिप्ट हैं।

इस पेज पर
  1. GPTBot, ClaudeBot, PerplexityBot और दूसरे AI क्रॉलर की user agent स्ट्रिंग क्या हैं?
  2. कौन-सा क्रॉलर क्या करता है, और कौन-से नाम सिर्फ़ robots.txt टोकन हैं?
  3. AI क्रॉलर वेंडर अपनी IP रेंज कहां प्रकाशित करते हैं?
  4. किसी IP पते को आधिकारिक क्रॉलर सूचियों से कैसे जांचें?
  5. reverse DNS से Googlebot, bingbot या Applebot की पुष्टि कैसे करें?
  6. GPTBot पहचानने के लिए user agent जांच काफ़ी क्यों नहीं है?
  7. AISeeWhy AI क्रॉलर ट्रैफ़िक की पुष्टि में कैसे मदद करता है?

GPTBot, ClaudeBot, PerplexityBot और दूसरे AI क्रॉलर की user agent स्ट्रिंग क्या हैं?

ये वेंडर के अपने दस्तावेज़ से कॉपी की गई हैं। OpenAI और Perplexity बताते हैं कि वर्ज़न नंबर बदल सकते हैं, Google और Microsoft W.X.Y.Z की जगह मौजूदा ब्राउज़र वर्ज़न रखते हैं, और Apple कहता है कि वह कभी-कभी ब्राउज़र वाला हिस्सा अपडेट करता है। पूरी स्ट्रिंग नहीं, बल्कि क्रॉलर टोकन से मिलान करें, जैसे GPTBot या bingbot।

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic का सहायता लेख ClaudeBot, Claude-SearchBot और Claude-User के नाम देता है लेकिन पूरी user agent स्ट्रिंग नहीं छापता, इसलिए इन्हीं टोकन से मिलान करें। Meta के क्रॉलर पेज पर ऐसी स्ट्रिंग हैं जो दिखाए गए टोकन से शुरू होती हैं और उसके बाद उसके दस्तावेज़ का लिंक होता है, और वह कहता है कि आपके लॉग में दिखने वाली स्ट्रिंग थोड़ी अलग हो सकती हैं।

कौन-सा क्रॉलर क्या करता है, और कौन-से नाम सिर्फ़ robots.txt टोकन हैं?

दो नाम आपके लॉग में कभी नहीं दिखते। Google-Extended एक robots.txt टोकन है जो तय करता है कि Google द्वारा क्रॉल किया गया कंटेंट Gemini मॉडल और grounding के लिए इस्तेमाल हो सकता है या नहीं; Google कहता है कि यह Google Search में शामिल होने पर असर नहीं डालता। Applebot-Extended, Apple के शब्दों में, एक सेकेंडरी user agent है जो वेबपेज क्रॉल नहीं करता; यह सिर्फ़ तय करता है कि Apple, Applebot के इकट्ठा किए डेटा का इस्तेमाल कैसे कर सकता है। जो अनुरोध इनमें से कोई होने का दावा करे, वह असली नहीं है।

AI क्रॉलर वेंडर अपनी IP रेंज कहां प्रकाशित करते हैं?

ज़्यादातर वेंडर एक ही ढांचे की JSON फ़ाइल प्रकाशित करते हैं: ipv4Prefix या ipv6Prefix वाले ऑब्जेक्ट का prefixes ऐरे, और एक creationTime जो बताता है कि फ़ाइल कितनी ताज़ा है।

किसी IP पते को आधिकारिक क्रॉलर सूचियों से कैसे जांचें?

यह स्क्रिप्ट हर सूची लोड करती है और बताती है कि पता किस सूची में है। इसे सिर्फ़ Python 3 चाहिए, और यह IPv4 और IPv6 दोनों संभालती है।

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

सूचियां बदलती रहती हैं। हर फ़ाइल का अपना creationTime होता है, Perplexity फ़ायरवॉल नियमों के अपडेट ऑटोमेट करने की सलाह देता है, और Bing अपनी सूची रोज़ ताज़ा करने को कहता है। अगर आप फ़ायरवॉल में ये सूचियां इस्तेमाल करते हैं, तो उन्हें एक बार कॉपी करने की बजाय तय समय पर fetch करें।

reverse DNS से Googlebot, bingbot या Applebot की पुष्टि कैसे करें?

Google, Microsoft, Apple और Common Crawl एक ही दो-चरण वाली जांच बताते हैं: IP पते का नाम निकालें, पक्का करें कि वह वेंडर के डोमेन पर ख़त्म होता है, फिर उस नाम को लुकअप करें और पक्का करें कि वही IP लौटता है। दोनों चरण ज़रूरी हैं, क्योंकि जो किसी IP रेंज को नियंत्रित करता है वह कोई भी reverse DNS नाम सेट कर सकता है, लेकिन वेंडर के डोमेन को वापस उस IP की ओर इशारा नहीं करवा सकता।

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google अपने क्रॉलर प्रकारों में googlebot.com, google.com और googleusercontent.com स्वीकार करता है; ऊपर का फ़ंक्शन सिर्फ़ googlebot.com स्वीकार करता है, जो Google के उदाहरणों में Googlebot ख़ुद इस्तेमाल करता है। Google के दूसरे क्रॉलर और fetcher के लिए उसकी JSON सूचियां इस्तेमाल करें। DNS लुकअप में समय लगता है, इसलिए इन्हें हर लाइव अनुरोध पर चलाने की बजाय लॉग की समीक्षा करते समय चलाएं या नतीजा कैश करें।

GPTBot पहचानने के लिए user agent जांच काफ़ी क्यों नहीं है?

user agent एक हेडर है जिसे क्लाइंट चुनता है, इसलिए कोई भी GPTBot या Googlebot भेज सकता है। Common Crawl चेतावनी देता है कि कुछ क्रॉलर झूठा दावा करते हैं कि वे CCBot हैं, और Bing यह जांचने की गाइड प्रकाशित करता है कि bingbot होने का दावा करने वाला ट्रैफ़िक सच में Bing से है या नहीं। GPTBot को भरोसे से पहचानने का मतलब है दोनों जांचना: user agent में टोकन और gptbot.json में स्रोत IP। बिना सूची वाले पते से टोकन के साथ आया अनुरोध नकलची है, और उसे ब्लॉक करने से OpenAI पर कोई असर नहीं पड़ता।

उल्टा भी होता है। अगर आपका फ़ायरवॉल सिर्फ़ user agent को अनुमति देता है, तो नकलची अंदर आ जाते हैं; अगर सिर्फ़ IP रेंज को अनुमति देता है, तो उस वेंडर के नेटवर्क से आने वाले हर एजेंट के साथ एक जैसा बर्ताव होता है, उसके साथ भी जिसे आप ब्लॉक करना चाहते थे। दोनों का मिलान ही भरोसेमंद नियम है।

AISeeWhy AI क्रॉलर ट्रैफ़िक की पुष्टि में कैसे मदद करता है?

AISeeWhy की मुफ़्त AI क्रॉलर IP जांच, बिना अकाउंट के, बताती है कि कोई IP पता GPTBot या किसी दूसरे AI क्रॉलर का है या नहीं। फिर मुफ़्त साइट जांच आपका पेज असली ब्राउज़र के साथ-साथ 16 AI और सर्च क्रॉलर के रूप में मांगती है, ताकि आप देख सकें कि असली क्रॉलर को क्या मिलेगा।

मुफ़्त टूल

अगले कदम

इस लेख के क्रॉलर

अक्सर पूछे जाने वाले प्रश्न

GPTBot का user agent क्या है?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot प्रकाशित करता है और बताता है कि वर्ज़न बदल सकता है। GPTBot से मिलान करें और IP को https://openai.com/gptbot.json से जांचें।

OAI-SearchBot का user agent क्या है?

Chrome जैसी स्ट्रिंग जो compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot पर ख़त्म होती है। इसके पते https://openai.com/searchbot.json में सूचीबद्ध हैं। OpenAI इसे ChatGPT सर्च में साइटें दिखाने के लिए इस्तेमाल करता है, जो GPTBot से अलग काम है।

क्या Anthropic, ClaudeBot के IP पते प्रकाशित करता है?

हां। Anthropic https://claude.com/crawling/bots.json का लिंक देता है और कहता है कि उस सूची में मौजूद स्रोत IP दिखाता है कि क्रॉलर Anthropic से है। उसका सहायता लेख बॉट टोकन के नाम देता है, पूरी user agent स्ट्रिंग नहीं।

क्या मैं अपने लॉग में Google-Extended या Applebot-Extended देख सकता हूं?

नहीं। दोनों robots.txt टोकन हैं, क्रॉलर नहीं। Google और Apple पेज Googlebot और Applebot से fetch करते हैं और इन टोकन का इस्तेमाल सिर्फ़ यह तय करने के लिए करते हैं कि कंटेंट AI के लिए कैसे इस्तेमाल हो सकता है।

bingbot के IP पतों की सूची कहां है?

Bing इसे https://www.bing.com/toolbox/bingbot.json पर प्रकाशित करता है और इसे रोज़ ताज़ा करने को कहता है। उसकी अपनी गाइड reverse और forward DNS जांच की सलाह देती है, जिसमें नाम search.msn.com पर ख़त्म होना चाहिए।

स्रोत

और लेख