AI क्रलरका user agent र IP दायरा: GPTBot, ClaudeBot, PerplexityBot र अन्य

प्रकाशित

छोटो उत्तर

GPTBot ले GPTBot/1.4; +https://openai.com/gptbot भएको user agent ले आफूलाई चिनाउँछ, र OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple र Common Crawl प्रत्येकले आफ्ना क्रलरले प्रयोग गर्ने IP दायराको JSON सूची प्रकाशित गर्छन्। दुवै मेल खाएमा मात्र अनुरोध वास्तविक हुन्छ: user agent ले क्रलरको नाम लिन्छ र स्रोत IP त्यो कम्पनीको सूचीमा हुन्छ, वा Googlebot, bingbot, Applebot र CCBot का लागि reverse र forward DNS जाँच पास गर्छ। user agent एक्लैले केही प्रमाणित गर्दैन, किनकि जोसुकैले पनि त्यो पठाउन सक्छ।

तपाईंले आफ्ना लगमा GPTBot वा ClaudeBot देख्नुहुन्छ, वा AI सर्च क्रलरलाई भित्र आउन दिने फायरवाल नियम चाहनुहुन्छ भने दुई कुरा चाहिन्छ: हरेक क्रलरले पठाउने ठ्याक्कै string, र अनुरोध त्यसले नाम लिएको कम्पनीबाटै आएको प्रमाणित गर्ने तरिका। तल हरेक कम्पनीले आज प्रकाशित गरेका string, हरेकको आधिकारिक IP सूची वा DNS विधि, र ठेगाना जाँच्न चलाउन सकिने दुई स्क्रिप्ट छन्।

यस पेजमा
  1. GPTBot, ClaudeBot, PerplexityBot र अन्य AI क्रलरका user agent string के हुन्?
  2. कुन क्रलरले के गर्छ, र कुन नाम robots.txt टोकन मात्र हुन्?
  3. AI क्रलरका कम्पनीहरूले आफ्ना IP दायरा कहाँ प्रकाशित गर्छन्?
  4. आधिकारिक क्रलर सूचीसँग IP ठेगाना कसरी जाँच्ने?
  5. reverse DNS ले Googlebot, bingbot वा Applebot कसरी प्रमाणित गर्ने?
  6. GPTBot पत्ता लगाउन user agent जाँच मात्र किन पर्याप्त छैन?
  7. AISeeWhy ले AI क्रलरको ट्राफिक प्रमाणित गर्न कसरी मद्दत गर्छ?

GPTBot, ClaudeBot, PerplexityBot र अन्य AI क्रलरका user agent string के हुन्?

यी कम्पनीहरूकै दस्तावेजबाट प्रतिलिपि गरिएका हुन्। OpenAI र Perplexity ले संस्करण नम्बर बदलिन सक्छ भन्छन्, Google र Microsoft ले W.X.Y.Z भएको ठाउँमा ब्राउजरको हालको संस्करण राख्छन्, र Apple भन्छ यसले ब्राउजरको भाग बेलाबेलामा अद्यावधिक गर्छ। पूरै string होइन, GPTBot वा bingbot जस्तो क्रलरको टोकन मिलाउनुहोस्।

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic को सहायता लेखले ClaudeBot, Claude-SearchBot र Claude-User को नाम लिन्छ तर पूरा user agent string छाप्दैन, त्यसैले ती टोकन मिलाउनुहोस्। Meta को क्रलर पेजले देखाइएका टोकनबाट सुरु हुने र त्यसपछि यसको दस्तावेजको लिंक भएका string सूचीबद्ध गर्छ, र तपाईंका लगमा देखिने string अलिकति फरक हुन सक्छन् भन्छ।

कुन क्रलरले के गर्छ, र कुन नाम robots.txt टोकन मात्र हुन्?

दुई नाम तपाईंका लगमा कहिल्यै देखिँदैनन्। Google-Extended एउटा robots.txt टोकन हो जसले Google ले crawl गरेको सामग्री Gemini मोडेल र grounding का लागि प्रयोग गर्न सकिन्छ कि सकिँदैन नियन्त्रण गर्छ; Google भन्छ यसले Google Search मा समावेश हुनेमा असर गर्दैन। Applebot-Extended चाहिँ Apple का शब्दमा वेबपेज crawl नगर्ने सहायक user agent हो; यसले Applebot ले सङ्कलन गरेको डेटा Apple ले कसरी प्रयोग गर्न सक्छ भन्ने मात्र निर्धारण गर्छ। यीमध्ये कुनै भएको दाबी गर्ने अनुरोध वास्तविक होइन।

AI क्रलरका कम्पनीहरूले आफ्ना IP दायरा कहाँ प्रकाशित गर्छन्?

धेरैजसो कम्पनीले उही ढाँचाको JSON फाइल प्रकाशित गर्छन्: ipv4Prefix वा ipv6Prefix भएका object को prefixes array, साथै सूची कति ताजा छ बताउने creationTime।

आधिकारिक क्रलर सूचीसँग IP ठेगाना कसरी जाँच्ने?

यो स्क्रिप्टले हरेक सूची लोड गर्छ र ठेगाना कुन सूचीमा छ बताउँछ। यसलाई Python 3 मात्र चाहिन्छ, र यसले IPv4 र IPv6 दुवै सम्हाल्छ।

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

सूचीहरू बदलिन्छन्। हरेक फाइलमा आफ्नै creationTime हुन्छ, Perplexity ले फायरवाल नियमको अद्यावधिक स्वचालित गर्न सिफारिस गर्छ, र Bing ले आफ्नो सूची दैनिक अद्यावधिक गर्न भन्छ। फायरवालमा सूची प्रयोग गर्नुहुन्छ भने एक पटक प्रतिलिपि गर्नुको सट्टा तालिकाअनुसार ल्याउनुहोस्।

reverse DNS ले Googlebot, bingbot वा Applebot कसरी प्रमाणित गर्ने?

Google, Microsoft, Apple र Common Crawl ले उही दुई चरणको जाँच दस्तावेज गर्छन्: IP ठेगानाको नाम हेर्नुहोस्, त्यो कम्पनीको डोमेनमा अन्त्य हुन्छ कि पक्का गर्नुहोस्, अनि त्यो नाम हेरेर उही IP फर्काउँछ कि पक्का गर्नुहोस्। दुवै चरण आवश्यक छन्, किनकि IP दायरा नियन्त्रण गर्ने जोसुकैले मनपरी reverse DNS नाम राख्न सक्छ, तर कम्पनीको डोमेनलाई आफूतिर फर्काउन सक्दैन।

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google ले आफ्ना क्रलरका प्रकारहरूमा googlebot.com, google.com र googleusercontent.com स्वीकार गर्छ; माथिको function ले googlebot.com मात्र स्वीकार गर्छ, जुन Google का उदाहरणमा Googlebot आफैँले प्रयोग गर्छ। Google का अन्य क्रलर र fetcher का लागि यसका JSON सूची प्रयोग गर्नुहोस्। DNS lookup मा समय लाग्छ, त्यसैले हरेक लाइभ अनुरोधमा नभई लग हेर्दा चलाउनुहोस् वा नतिजा cache गर्नुहोस्।

GPTBot पत्ता लगाउन user agent जाँच मात्र किन पर्याप्त छैन?

user agent क्लाइन्टले आफैँ छान्ने header हो, त्यसैले जोसुकैले GPTBot वा Googlebot पठाउन सक्छ। Common Crawl ले केही क्रलर झुटो रूपमा CCBot भएको दाबी गर्छन् भनेर चेतावनी दिन्छ, र Bing ले bingbot भएको दाबी गर्ने ट्राफिक साँच्चै Bing बाट आएको हो कि जाँच्ने गाइड प्रकाशित गर्छ। GPTBot भरपर्दो रूपमा पत्ता लगाउन दुवै जाँच्नुपर्छ: user agent मा टोकन र gptbot.json मा स्रोत IP। सूचीमा नभएको ठेगानाबाट टोकनसहित आएको अनुरोध नक्कल गर्ने हो, र त्यसलाई ब्लक गर्दा OpenAI मा असर पर्दैन।

उल्टो पनि हुन्छ। तपाईंको फायरवालले user agent मात्र अनुमति दिन्छ भने नक्कल गर्नेहरू भित्र पस्छन्; IP दायरा मात्र अनुमति दिन्छ भने त्यो कम्पनीको नेटवर्कबाट आउने जुनसुकै एजेन्टले, तपाईंले ब्लक गर्न खोजेको एजेन्टले समेत, उही व्यवहार पाउँछ। दुवै मिलाउनु नै भरपर्दो नियम हो।

AISeeWhy ले AI क्रलरको ट्राफिक प्रमाणित गर्न कसरी मद्दत गर्छ?

AISeeWhy को निःशुल्क AI क्रलर IP जाँचले खाताबिनै कुनै IP ठेगाना GPTBot वा अर्को AI क्रलरको हो कि होइन बताउँछ। त्यसपछि निःशुल्क साइट जाँचले तपाईंको पेज वास्तविक ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा माग्छ, ताकि वास्तविक क्रलरले के पाउँथे हेर्न सकियोस्।

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

GPTBot को user agent के हो?

OpenAI ले Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot प्रकाशित गर्छ र संस्करण बदलिन सक्छ भन्छ। GPTBot मिलाउनुहोस् र IP लाई https://openai.com/gptbot.json सँग पुष्टि गर्नुहोस्।

OAI-SearchBot को user agent के हो?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot मा अन्त्य हुने Chrome शैलीको string। यसका ठेगाना https://openai.com/searchbot.json मा सूचीबद्ध छन्। OpenAI ले यसलाई ChatGPT सर्चमा साइट देखाउन प्रयोग गर्छ, जुन GPTBot भन्दा फरक काम हो।

के Anthropic ले ClaudeBot का IP ठेगाना प्रकाशित गर्छ?

हो। Anthropic ले https://claude.com/crawling/bots.json को लिंक दिन्छ र त्यो सूचीमा भएको स्रोत IP ले क्रलर Anthropic कै हो भन्ने देखाउँछ भन्छ। यसको सहायता लेखले बट टोकनको नाम लिन्छ तर पूरा user agent string दिँदैन।

के मेरा लगमा Google-Extended वा Applebot-Extended देखिन सक्छन्?

देखिँदैनन्। दुवै robots.txt टोकन हुन्, क्रलर होइनन्। Google र Apple ले Googlebot र Applebot ले पेज ल्याउँछन् र यी टोकन सामग्री AI का लागि कसरी प्रयोग गर्न सकिन्छ भन्ने निर्णय गर्न मात्र प्रयोग गर्छन्।

bingbot का IP ठेगानाको सूची कहाँ छ?

Bing ले यसलाई https://www.bing.com/toolbox/bingbot.json मा प्रकाशित गर्छ र दैनिक अद्यावधिक गर्न भन्छ। यसकै गाइडले reverse र forward DNS जाँच सिफारिस गर्छ, जहाँ नाम search.msn.com मा अन्त्य हुनुपर्छ।

स्रोतहरू

थप लेखहरू