AI ક્રૉલરના user agents અને IP રેન્જ: GPTBot, ClaudeBot, PerplexityBot અને બીજા

પ્રકાશિત

ટૂંકો જવાબ

GPTBot પોતાની ઓળખ GPTBot/1.4; +https://openai.com/gptbot ધરાવતા user agentથી આપે છે, અને OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple અને Common Crawl દરેક પોતાના ક્રૉલર વાપરે છે તે IP રેન્જની JSON યાદી પ્રકાશિત કરે છે. Request ત્યારે જ સાચી છે જ્યારે બંને મેળ ખાય: user agent ક્રૉલરનું નામ આપે અને source IP એ vendorની યાદીમાં હોય, અથવા Googlebot, bingbot, Applebot અને CCBot માટે reverse અને forward DNS તપાસ પાસ કરે. એકલો user agent કંઈ સાબિત કરતો નથી, કારણ કે કોઈ પણ તેને મોકલી શકે છે.

જ્યારે તમે તમારા logsમાં GPTBot કે ClaudeBot જુઓ, કે AI સર્ચ ક્રૉલરને પસાર થવા દેતો ફાયરવૉલ નિયમ જોઈતો હોય, ત્યારે તમને બે વસ્તુ જોઈએ: દરેક ક્રૉલર મોકલે છે તે ચોક્કસ string, અને request ખરેખર એ જ કંપની તરફથી આવી છે તે સાબિત કરવાની રીત. નીચે દરેક vendor આજે પ્રકાશિત કરે છે તે strings, દરેક માટે સત્તાવાર IP યાદી કે DNS પદ્ધતિ, અને સરનામું તપાસવા ચલાવી શકાય એવી બે scripts છે.

આ પેજ પર
  1. GPTBot, ClaudeBot, PerplexityBot અને બીજા AI ક્રૉલરની user agent strings શું છે?
  2. કયો ક્રૉલર શું કરે છે, અને કયાં નામ ફક્ત robots.txt tokens છે?
  3. AI ક્રૉલરના vendors પોતાની IP રેન્જ ક્યાં પ્રકાશિત કરે છે?
  4. સત્તાવાર ક્રૉલર યાદીઓ સામે IP સરનામું કેવી રીતે તપાસવું?
  5. Reverse DNSથી Googlebot, bingbot કે Applebotની ચકાસણી કેવી રીતે કરવી?
  6. GPTBot ઓળખવા ફક્ત user agent તપાસવો કેમ પૂરતો નથી?
  7. AISeeWhy AI ક્રૉલર ટ્રાફિકની ચકાસણીમાં કેવી રીતે મદદ કરી શકે?

GPTBot, ClaudeBot, PerplexityBot અને બીજા AI ક્રૉલરની user agent strings શું છે?

આ vendorsના પોતાના દસ્તાવેજોમાંથી નકલ કરેલી છે. OpenAI અને Perplexity નોંધે છે કે version numbers બદલાઈ શકે છે, Google અને Microsoft જ્યાં W.X.Y.Z છે ત્યાં હાલનું browser version મૂકે છે, અને Apple કહે છે કે તે ક્યારેક browser ભાગ અપડેટ કરે છે. આખી string નહીં, ક્રૉલરના token પર મેચ કરો, જેમ કે GPTBot કે bingbot.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropicનો help લેખ ClaudeBot, Claude-SearchBot અને Claude-Userનાં નામ આપે છે પણ પૂરી user agent strings છાપતો નથી, તેથી એ tokens પર મેચ કરો. Metaનું ક્રૉલર પેજ બતાવેલા tokensથી શરૂ થતી strings આપે છે, જેના પછી તેના દસ્તાવેજની લિંક હોય છે, અને કહે છે કે તમારા logsમાં દેખાતી strings થોડી અલગ હોઈ શકે.

કયો ક્રૉલર શું કરે છે, અને કયાં નામ ફક્ત robots.txt tokens છે?

બે નામ તમારા logsમાં ક્યારેય દેખાતાં નથી. Google-Extended એક robots.txt token છે જે નક્કી કરે છે કે Google crawl કરે છે તે કન્ટેન્ટ Gemini મૉડલ અને grounding માટે વાપરી શકાય કે નહીં; Google કહે છે કે તે Google Searchમાં સમાવેશને અસર કરતું નથી. Appleના શબ્દોમાં Applebot-Extended એક secondary user agent છે જે વેબપેજ crawl કરતો નથી; તે ફક્ત નક્કી કરે છે કે Applebotએ ભેગો કરેલો ડેટા Apple કેવી રીતે વાપરી શકે. બેમાંથી કોઈ હોવાનો દાવો કરતી request સાચી નથી.

AI ક્રૉલરના vendors પોતાની IP રેન્જ ક્યાં પ્રકાશિત કરે છે?

મોટા ભાગના vendors એક જ આકારની JSON ફાઇલ પ્રકાશિત કરે છે: ipv4Prefix કે ipv6Prefix ધરાવતા objectsનો prefixes array, ઉપરાંત creationTime જે જણાવે છે કે ફાઇલ કેટલી તાજી છે.

સત્તાવાર ક્રૉલર યાદીઓ સામે IP સરનામું કેવી રીતે તપાસવું?

આ script દરેક યાદી લોડ કરે છે અને જણાવે છે કે કઈ યાદીમાં એ સરનામું છે. તેને ફક્ત Python 3 જોઈએ, અને તે IPv4 અને IPv6 બંને સંભાળે છે.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

યાદીઓ બદલાય છે. દરેક ફાઇલમાં પોતાનો creationTime હોય છે, Perplexity તમારા ફાયરવૉલ નિયમોના અપડેટ આપમેળે કરવાની ભલામણ કરે છે, અને Bing તેની યાદી દરરોજ refresh કરવા કહે છે. જો તમે ફાયરવૉલમાં યાદીઓ વાપરો, તો એક વાર નકલ કરવાને બદલે તેમને નિયમિત રીતે મેળવો.

Reverse DNSથી Googlebot, bingbot કે Applebotની ચકાસણી કેવી રીતે કરવી?

Google, Microsoft, Apple અને Common Crawl એક જ બે પગલાંની તપાસ વર્ણવે છે: IP સરનામાનું નામ શોધો, ખાતરી કરો કે તે vendorના ડોમેનથી પૂરું થાય છે, પછી એ નામ શોધો અને ખાતરી કરો કે તે એ જ IP આપે છે. બંને પગલાં મહત્ત્વનાં છે, કારણ કે IP રેન્જ નિયંત્રિત કરનાર કોઈ પણ મનફાવતું reverse DNS નામ સેટ કરી શકે છે, પણ vendorના ડોમેનને પોતાની તરફ પાછું નિર્દેશિત કરાવી શકતો નથી.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google તેના ક્રૉલરના પ્રકારોમાં googlebot.com, google.com અને googleusercontent.com સ્વીકારે છે; ઉપરનું function ફક્ત googlebot.com સ્વીકારે છે, જે Googleનાં ઉદાહરણોમાં Googlebot પોતે વાપરે છે. Googleના બીજા ક્રૉલર અને fetchers માટે તેની JSON યાદીઓ વાપરો. DNS lookupsમાં સમય લાગે છે, તેથી દરેક live request પર નહીં, logs જોતી વખતે ચલાવો કે પરિણામ cache કરો.

GPTBot ઓળખવા ફક્ત user agent તપાસવો કેમ પૂરતો નથી?

User agent એ client પોતે પસંદ કરે છે એવું header છે, તેથી કોઈ પણ GPTBot કે Googlebot મોકલી શકે છે. Common Crawl ચેતવે છે કે કેટલાક ક્રૉલર ખોટી રીતે CCBot હોવાનો દાવો કરે છે, અને Bing bingbot હોવાનો દાવો કરતો ટ્રાફિક ખરેખર Bing તરફથી છે કે નહીં તે તપાસવા માર્ગદર્શિકા પ્રકાશિત કરે છે. GPTBotને વિશ્વસનીય રીતે ઓળખવા બંને તપાસવું પડે: user agentમાંનો token અને gptbot.jsonમાં source IP. યાદીમાં ન હોય એવા સરનામા પરથી token સાથેની request નકલી છે, અને તેને બ્લૉક કરવાથી OpenAIને અસર થતી નથી.

ઊલટું પણ બને છે. જો તમારું ફાયરવૉલ ફક્ત user agentને મંજૂરી આપે, તો નકલીઓ અંદર આવી જાય; જો ફક્ત IP રેન્જને મંજૂરી આપે, તો એ vendorના નેટવર્કમાંથી આવતા દરેક agentને સરખી સારવાર મળે, ભલે તમે તેને બ્લૉક કરવા માગતા હો. બંનેનું મેચિંગ ભરોસાપાત્ર નિયમ છે.

AISeeWhy AI ક્રૉલર ટ્રાફિકની ચકાસણીમાં કેવી રીતે મદદ કરી શકે?

AISeeWhyની મફત AI ક્રૉલર IP તપાસ, એકાઉન્ટ વગર, જણાવે છે કે IP સરનામું GPTBot કે બીજા AI ક્રૉલરનું છે કે નહીં. પછી મફત સાઇટ તપાસ તમારું પેજ 16 AI અને સર્ચ ક્રૉલર તરીકે અને સાથે સાચા બ્રાઉઝર તરીકે મેળવે છે, જેથી તમે જોઈ શકો કે સાચા ક્રૉલરને શું મળશે.

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

GPTBotનો user agent શું છે?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot પ્રકાશિત કરે છે અને નોંધે છે કે version બદલાઈ શકે છે. GPTBot પર મેચ કરો અને https://openai.com/gptbot.json સામે IPની ખાતરી કરો.

OAI-SearchBotનો user agent શું છે?

Chrome જેવી string જે compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotથી પૂરી થાય છે. તેનાં સરનામાં https://openai.com/searchbot.jsonમાં છે. OpenAI તેનો ઉપયોગ ChatGPT સર્ચમાં સાઇટ બતાવવા કરે છે, જે GPTBotથી જુદું કામ છે.

શું Anthropic ClaudeBotનાં IP સરનામાં પ્રકાશિત કરે છે?

હા. Anthropic https://claude.com/crawling/bots.jsonની લિંક આપે છે અને કહે છે કે એ યાદીમાંનો source IP બતાવે છે કે ક્રૉલર Anthropic તરફથી છે. તેનો help લેખ bot tokensનાં નામ આપે છે પણ પૂરી user agent strings નહીં.

શું હું મારા logsમાં Google-Extended કે Applebot-Extended જોઈ શકું?

ના. બંને robots.txt tokens છે, ક્રૉલર નથી. Google અને Apple Googlebot અને Applebotથી પેજ મેળવે છે અને આ tokensનો ઉપયોગ ફક્ત એ નક્કી કરવા કરે છે કે કન્ટેન્ટ AI માટે કેવી રીતે વાપરી શકાય.

bingbotની IP સરનામાંની યાદી ક્યાં છે?

Bing તેને https://www.bing.com/toolbox/bingbot.json પર પ્રકાશિત કરે છે અને દરરોજ refresh કરવા કહે છે. તેની પોતાની માર્ગદર્શિકા reverse અને forward DNS તપાસની ભલામણ કરે છે, જેમાં નામ search.msn.comથી પૂરું થવું જોઈએ.

સ્રોતો

વધુ લેખો