AI क्रॉलरचे युजर एजंट आणि IP रेंज: GPTBot, ClaudeBot, PerplexityBot आणि इतर

प्रकाशित

छोटे उत्तर

GPTBot स्वतःची ओळख GPTBot/1.4; +https://openai.com/gptbot असलेल्या युजर एजंटने देतो, आणि OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple आणि Common Crawl प्रत्येकी त्यांचे क्रॉलर वापरत असलेल्या IP रेंजची JSON यादी प्रकाशित करतात. दोन्ही जुळले तरच request खरी असते: युजर एजंट क्रॉलरचे नाव सांगतो आणि स्रोत IP त्या vendor च्या यादीत आहे, किंवा Googlebot, bingbot, Applebot आणि CCBot साठी reverse आणि forward DNS तपासणी पास होते. फक्त युजर एजंट काहीच सिद्ध करत नाही, कारण तो कोणीही पाठवू शकतो.

तुमच्या logs मध्ये GPTBot किंवा ClaudeBot दिसल्यावर, किंवा AI सर्च क्रॉलरना जाऊ देणारा फायरवॉल नियम हवा असताना, तुम्हाला दोन गोष्टी लागतात: प्रत्येक क्रॉलर पाठवत असलेली नेमकी स्ट्रिंग, आणि request त्याने नाव घेतलेल्या कंपनीकडूनच आली हे सिद्ध करण्याचा मार्ग. खाली प्रत्येक vendor आज प्रकाशित करतो त्या स्ट्रिंग, प्रत्येकासाठी अधिकृत IP यादी किंवा DNS पद्धत, आणि पत्ता तपासण्यासाठी चालवता येतील अशा दोन स्क्रिप्ट दिल्या आहेत.

या पेजवर
  1. GPTBot, ClaudeBot, PerplexityBot आणि इतर AI क्रॉलरच्या युजर एजंट स्ट्रिंग कोणत्या आहेत?
  2. कोणता क्रॉलर काय करतो, आणि कोणती नावे फक्त robots.txt टोकन आहेत?
  3. AI क्रॉलर vendors त्यांच्या IP रेंज कुठे प्रकाशित करतात?
  4. अधिकृत क्रॉलर याद्यांशी IP पत्ता कसा तपासावा?
  5. Googlebot, bingbot किंवा Applebot reverse DNS ने कसे पडताळावे?
  6. GPTBot ओळखण्यासाठी युजर एजंट तपासणी पुरेशी का नाही?
  7. AI क्रॉलर ट्रॅफिक पडताळण्यात AISeeWhy कशी मदत करू शकते?

GPTBot, ClaudeBot, PerplexityBot आणि इतर AI क्रॉलरच्या युजर एजंट स्ट्रिंग कोणत्या आहेत?

या vendors च्या स्वतःच्या दस्तऐवजांमधून घेतलेल्या आहेत. OpenAI आणि Perplexity नमूद करतात की आवृत्ती क्रमांक बदलू शकतात, Google आणि Microsoft W.X.Y.Z च्या जागी सध्याची ब्राउझर आवृत्ती ठेवतात, आणि Apple सांगते की ते अधूनमधून ब्राउझरचा भाग अपडेट करते. संपूर्ण स्ट्रिंगवर नव्हे तर GPTBot किंवा bingbot सारख्या क्रॉलर टोकनवर जुळणी करा.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic चा मदत लेख ClaudeBot, Claude-SearchBot आणि Claude-User ही नावे देतो पण पूर्ण युजर एजंट स्ट्रिंग देत नाही, त्यामुळे या टोकनवर जुळणी करा. Meta चे क्रॉलर पेज दाखवलेल्या टोकनपासून सुरू होणाऱ्या आणि त्यानंतर त्याच्या दस्तऐवजांची लिंक असलेल्या स्ट्रिंग देते, आणि तुमच्या logs मध्ये दिसणाऱ्या स्ट्रिंग थोड्या वेगळ्या असू शकतात असे सांगते.

कोणता क्रॉलर काय करतो, आणि कोणती नावे फक्त robots.txt टोकन आहेत?

दोन नावे तुमच्या logs मध्ये कधीच दिसत नाहीत. Google-Extended हे robots.txt टोकन आहे जे Google क्रॉल करत असलेला मजकूर Gemini मॉडेल आणि grounding साठी वापरता येईल का हे नियंत्रित करते; Google सांगते की त्याचा Google Search मधील समावेशावर परिणाम होत नाही. Applebot-Extended हा, Apple च्या शब्दांत, वेब पेजेस क्रॉल न करणारा दुय्यम युजर एजंट आहे; Applebot ने गोळा केलेला डेटा Apple कसा वापरू शकते एवढेच तो ठरवतो. यापैकी एक असल्याचा दावा करणारी request खरी नाही.

AI क्रॉलर vendors त्यांच्या IP रेंज कुठे प्रकाशित करतात?

बहुतेक vendors एकाच स्वरूपाची JSON फाइल प्रकाशित करतात: ipv4Prefix किंवा ipv6Prefix असलेल्या objects चा prefixes array, आणि फाइल किती ताजी आहे हे सांगणारे creationTime.

अधिकृत क्रॉलर याद्यांशी IP पत्ता कसा तपासावा?

ही स्क्रिप्ट प्रत्येक यादी लोड करते आणि कोणत्या यादीत पत्ता आहे ते सांगते. तिला फक्त Python 3 लागते, आणि ती IPv4 आणि IPv6 दोन्ही हाताळते.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

याद्या बदलतात. प्रत्येक फाइलचे स्वतःचे creationTime असते, Perplexity फायरवॉल नियमांचे अपडेट स्वयंचलित करण्याची शिफारस करते, आणि Bing त्याची यादी रोज refresh करायला सांगते. फायरवॉलमध्ये या याद्या वापरत असाल तर एकदा कॉपी करण्याऐवजी ठरावीक वेळापत्रकाने त्या मिळवा.

Googlebot, bingbot किंवा Applebot reverse DNS ने कसे पडताळावे?

Google, Microsoft, Apple आणि Common Crawl तीच दोन टप्प्यांची तपासणी सांगतात: IP पत्त्याचे नाव शोधा, ते vendor च्या डोमेनने संपते याची खात्री करा, मग त्या नावाचा शोध घ्या आणि तेच IP परत येते याची खात्री करा. दोन्ही टप्पे महत्त्वाचे आहेत, कारण IP रेंज ज्याच्या ताब्यात आहे तो कोणतेही reverse DNS नाव ठेवू शकतो, पण vendor चे डोमेन त्याच्याकडे निर्देशित करू शकत नाही.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google त्याच्या क्रॉलर प्रकारांसाठी googlebot.com, google.com आणि googleusercontent.com स्वीकारते; वरील function फक्त googlebot.com स्वीकारते, जे Google च्या उदाहरणांमध्ये Googlebot स्वतः वापरतो. Google च्या इतर क्रॉलर आणि fetchers साठी त्याच्या JSON याद्या वापरा. DNS lookup ला वेळ लागतो, त्यामुळे प्रत्येक लाइव्ह request वर न करता logs तपासताना करा किंवा निकाल cache करा.

GPTBot ओळखण्यासाठी युजर एजंट तपासणी पुरेशी का नाही?

युजर एजंट हा client निवडतो तो header आहे, त्यामुळे कोणीही GPTBot किंवा Googlebot पाठवू शकतो. Common Crawl इशारा देते की काही क्रॉलर खोटेपणाने CCBot असल्याचा दावा करतात, आणि bingbot असल्याचा दावा करणारे ट्रॅफिक खरोखर Bing कडून येते का हे तपासण्यासाठी Bing मार्गदर्शक प्रकाशित करते. GPTBot विश्वासार्हपणे ओळखणे म्हणजे दोन्ही तपासणे: युजर एजंटमधील टोकन आणि gptbot.json मधील स्रोत IP. यादीत नसलेल्या पत्त्यावरून टोकनसह आलेली request नक्कल करणारी आहे, आणि ती ब्लॉक केल्याने OpenAI वर परिणाम होत नाही.

उलटेही घडते. तुमचा फायरवॉल फक्त युजर एजंटला परवानगी देत असेल तर नक्कल करणारे आत येतात; फक्त IP रेंजला परवानगी देत असेल तर त्या vendor च्या नेटवर्कमधील कोणत्याही एजंटला तीच वागणूक मिळते, तुम्ही ब्लॉक करू इच्छित असलेल्यालाही. दोन्ही जुळवणे हाच भरवशाचा नियम आहे.

AI क्रॉलर ट्रॅफिक पडताळण्यात AISeeWhy कशी मदत करू शकते?

AISeeWhy ची मोफत AI क्रॉलर IP तपासणी, खात्याशिवाय, एखादा IP पत्ता GPTBot किंवा दुसऱ्या AI क्रॉलरचा आहे का हे सांगते. मग मोफत साइट तपासणी खऱ्या ब्राउझरच्या बाजूने तुमचे पेज 16 AI आणि सर्च क्रॉलर म्हणून मागवते, त्यामुळे खऱ्या क्रॉलरना काय मिळाले असते ते तुम्ही पाहू शकता.

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

GPTBot चा युजर एजंट कोणता आहे?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot प्रकाशित करते आणि आवृत्ती बदलू शकते असे नमूद करते. GPTBot वर जुळणी करा आणि IP https://openai.com/gptbot.json शी पडताळा.

OAI-SearchBot चा युजर एजंट कोणता आहे?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ने संपणारी Chrome सारखी स्ट्रिंग. त्याचे पत्ते https://openai.com/searchbot.json मध्ये दिलेले आहेत. OpenAI तो ChatGPT सर्चमध्ये साइट दाखवण्यासाठी वापरते, जे GPTBot पेक्षा वेगळे काम आहे.

Anthropic ClaudeBot चे IP पत्ते प्रकाशित करते का?

होय. Anthropic https://claude.com/crawling/bots.json ची लिंक देते आणि सांगते की त्या यादीतील स्रोत IP क्रॉलर Anthropic चा असल्याचे दाखवतो. त्याचा मदत लेख bot टोकनची नावे देतो पण पूर्ण युजर एजंट स्ट्रिंग देत नाही.

माझ्या logs मध्ये Google-Extended किंवा Applebot-Extended दिसू शकतात का?

नाही. दोन्ही robots.txt टोकन आहेत, क्रॉलर नाहीत. Google आणि Apple पेजेस Googlebot आणि Applebot ने मिळवतात आणि हे टोकन फक्त मजकूर AI साठी कसा वापरता येईल हे ठरवण्यासाठी वापरतात.

bingbot च्या IP पत्त्यांची यादी कुठे आहे?

Bing ती https://www.bing.com/toolbox/bingbot.json वर प्रकाशित करते आणि रोज refresh करायला सांगते. त्याचा स्वतःचा मार्गदर्शक reverse आणि forward DNS तपासणीची शिफारस करतो, ज्यात नाव search.msn.com ने संपले पाहिजे.

स्रोत

आणखी लेख