የAI ክሮውለሮች user agents እና IP ክልሎች፦ GPTBot፣ ClaudeBot፣ PerplexityBot እና ሌሎችም

የታተመበት

አጭር መልስ

GPTBot ራሱን GPTBot/1.4; +https://openai.com/gptbot በያዘ user agent ያሳውቃል፣ OpenAI፣ Anthropic፣ Perplexity፣ Google፣ Microsoft፣ Apple እና Common Crawl ደግሞ እያንዳንዳቸው ክሮውለሮቻቸው የሚጠቀሙባቸውን IP ክልሎች የJSON ዝርዝር ያትማሉ። ጥያቄ እውነተኛ የሚሆነው ሁለቱም ሲዛመዱ ብቻ ነው፦ user agentው ክሮውለሩን ይጠቅሳል፣ የምንጭ IPውም በዚያ አቅራቢ ዝርዝር ውስጥ አለ፣ ወይም ለGooglebot፣ bingbot፣ Applebot እና CCBot የreverse እና forward DNS ፍተሻን ያልፋል። user agent ብቻውን ምንም አያረጋግጥም፣ ምክንያቱም ማንም ሊልከው ይችላል።

በlogsዎ ውስጥ GPTBot ወይም ClaudeBot ሲያዩ፣ ወይም የAI ፍለጋ ክሮውለሮችን የሚያሳልፍ የፋየርዎል ደንብ ሲፈልጉ ሁለት ነገሮች ያስፈልግዎታል፦ እያንዳንዱ ክሮውለር የሚልከው ትክክለኛ string፣ እና አንድ ጥያቄ ከሚጠቅሰው ኩባንያ መምጣቱን የሚያረጋግጡበት መንገድ። ከታች እያንዳንዱ አቅራቢ ዛሬ እንደሚያትማቸው ያሉ strings፣ ለእያንዳንዱ ይፋዊ የIP ዝርዝር ወይም የDNS ዘዴ፣ እና አድራሻን ለመፈተሽ ሊያስኬዷቸው የሚችሉ ሁለት scripts አሉ።

በዚህ ገጽ ላይ
  1. የGPTBot፣ ClaudeBot፣ PerplexityBot እና የሌሎች AI ክሮውለሮች user agent strings ምንድን ናቸው?
  2. የትኛው ክሮውለር ምን ይሠራል፣ የትኞቹ ስሞችስ የrobots.txt tokens ብቻ ናቸው?
  3. የAI ክሮውለር አቅራቢዎች IP ክልሎቻቸውን የት ያትማሉ?
  4. የIP አድራሻን ከይፋዊ የክሮውለር ዝርዝሮች ጋር እንዴት አነጻጽራለሁ?
  5. Googlebotን፣ bingbotን ወይም Applebotን በreverse DNS እንዴት አረጋግጣለሁ?
  6. GPTBotን ለመለየት የuser agent ፍተሻ ብቻ ለምን በቂ አይደለም?
  7. AISeeWhy የAI ክሮውለር ትራፊክን ለማረጋገጥ እንዴት ሊረዳ ይችላል?

የGPTBot፣ ClaudeBot፣ PerplexityBot እና የሌሎች AI ክሮውለሮች user agent strings ምንድን ናቸው?

እነዚህ ከአቅራቢዎቹ የራሳቸው ሰነዶች የተቀዱ ናቸው። OpenAI እና Perplexity የስሪት ቁጥሮች ሊለወጡ እንደሚችሉ ይገልጻሉ፣ Google እና Microsoft W.X.Y.Z በሚታይበት ቦታ የአሁኑን የአሳሽ ስሪት ያስገባሉ፣ Apple ደግሞ የአሳሹን ክፍል አልፎ አልፎ እንደሚያዘምን ይናገራል። ሙሉውን string ሳይሆን እንደ GPTBot ወይም bingbot ያለውን የክሮውለር token ያዛምዱ።

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

የAnthropic የእገዛ ጽሑፍ ClaudeBot፣ Claude-SearchBot እና Claude-Userን ይጠቅሳል፣ ሙሉ user agent strings ግን አያትምም፣ ስለዚህ እነዚያን tokens ያዛምዱ። የMeta የክሮውለር ገጽ በሚታዩት tokens የሚጀምሩ እና ወደ ሰነዶቹ የሚወስድ አገናኝ የሚከተላቸው strings ይዘረዝራል፣ በlogsዎ ውስጥ የሚታዩት strings በጥቂቱ ሊለያዩ እንደሚችሉም ይናገራል።

የትኛው ክሮውለር ምን ይሠራል፣ የትኞቹ ስሞችስ የrobots.txt tokens ብቻ ናቸው?

ሁለት ስሞች በlogsዎ ውስጥ ፈጽሞ አይታዩም። Google-Extended Google crawl የሚያደርገው ይዘት ለGemini ሞዴሎች እና ለgrounding ሊውል ይችል እንደሆነ የሚቆጣጠር የrobots.txt token ነው፤ Google በGoogle Search ውስጥ መካተትን እንደማይነካ ይናገራል። Applebot-Extended፣ በApple አባባል፣ ድረ-ገጾችን crawl የማያደርግ ሁለተኛ ደረጃ user agent ነው፤ የሚወስነው Apple Applebot የሰበሰበውን ውሂብ እንዴት ሊጠቀም እንደሚችል ብቻ ነው። ከሁለቱ አንዱ ነኝ የሚል ጥያቄ እውነተኛ አይደለም።

የAI ክሮውለር አቅራቢዎች IP ክልሎቻቸውን የት ያትማሉ?

አብዛኞቹ አቅራቢዎች ተመሳሳይ ቅርጽ ያለው የJSON ፋይል ያትማሉ፦ ipv4Prefix ወይም ipv6Prefix ያላቸው objects የያዘ የprefixes array፣ እንዲሁም ፋይሉ ምን ያህል አዲስ እንደሆነ የሚነግር creationTime።

የIP አድራሻን ከይፋዊ የክሮውለር ዝርዝሮች ጋር እንዴት አነጻጽራለሁ?

ይህ script እያንዳንዱን ዝርዝር ይጭናል፣ አድራሻውን የያዘው የትኛው እንደሆነም ይዘግባል። Python 3 ብቻ ይፈልጋል፣ IPv4ንም IPv6ንም ያስተናግዳል።

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

ዝርዝሮቹ ይለወጣሉ። እያንዳንዱ ፋይል የራሱን creationTime ይይዛል፣ Perplexity የፋየርዎል ደንቦችዎን ማዘመን በራስ-ሰር እንዲያደርጉ ይመክራል፣ Bing ደግሞ ዝርዝሩን በየቀኑ እንዲያድሱ ይጠይቃል። ዝርዝሮቹን በፋየርዎል ውስጥ ከተጠቀሙ አንድ ጊዜ ከመቅዳት ይልቅ በመርሐ ግብር ያምጧቸው።

Googlebotን፣ bingbotን ወይም Applebotን በreverse DNS እንዴት አረጋግጣለሁ?

Google፣ Microsoft፣ Apple እና Common Crawl ተመሳሳይ ባለሁለት ደረጃ ፍተሻ ይገልጻሉ፦ የIP አድራሻውን ስም ይፈልጉ፣ በአቅራቢው ዶሜን እንደሚያልቅ ያረጋግጡ፣ ከዚያ ያንን ስም ይፈልጉ እና ተመሳሳዩን IP እንደሚመልስ ያረጋግጡ። ሁለቱም ደረጃዎች አስፈላጊ ናቸው፣ ምክንያቱም የIP ክልልን የሚቆጣጠር ማንኛውም ሰው የፈለገውን የreverse DNS ስም ማቀናበር ይችላል፣ የአቅራቢውን ዶሜን ግን ወደ እሱ እንዲጠቁም ማድረግ አይችልም።

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google በክሮውለር ዓይነቶቹ ሁሉ googlebot.comን፣ google.comን እና googleusercontent.comን ይቀበላል፤ ከላይ ያለው function የሚቀበለው googlebot.comን ብቻ ነው፣ ይህም በGoogle ምሳሌዎች ውስጥ Googlebot ራሱ የሚጠቀምበት ነው። ለሌሎቹ የGoogle ክሮውለሮች እና fetchers የJSON ዝርዝሮቹን ይጠቀሙ። የDNS ፍለጋዎች ጊዜ ይወስዳሉ፣ ስለዚህ በእያንዳንዱ የቀጥታ ጥያቄ ላይ ሳይሆን logsን ሲገመግሙ ያስኬዷቸው ወይም ውጤቱን cache ያድርጉ።

GPTBotን ለመለየት የuser agent ፍተሻ ብቻ ለምን በቂ አይደለም?

user agent ደንበኛው (client) የሚመርጠው header ነው፣ ስለዚህ ማንም GPTBot ወይም Googlebot መላክ ይችላል። Common Crawl አንዳንድ ክሮውለሮች በሐሰት CCBot ነን እንደሚሉ ያስጠነቅቃል፣ Bing ደግሞ bingbot ነኝ የሚል ትራፊክ በእርግጥ ከBing መምጣቱን የሚፈትሹበት መመሪያ ያትማል። GPTBotን በአስተማማኝ ሁኔታ መለየት ሁለቱንም መፈተሽ ማለት ነው፦ በuser agent ውስጥ ያለውን token እና በgptbot.json ውስጥ ያለውን የምንጭ IP። tokenውን ይዞ ካልተዘረዘረ አድራሻ የሚመጣ ጥያቄ አስመሳይ ነው፣ እሱን ማገድም OpenAIን አይነካም።

ተገላቢጦሹም ይከሰታል። ፋየርዎልዎ user agentን ብቻ ከፈቀደ አስመሳዮች ይገባሉ፤ የIP ክልልን ብቻ ከፈቀደ ደግሞ ከዚያ አቅራቢ አውታረ መረብ የሚመጣ ማንኛውም agent፣ ሊያግዱት ያሰቡትንም ጨምሮ፣ ተመሳሳይ አያያዝ ያገኛል። ሁለቱንም ማዛመድ አስተማማኙ ደንብ ነው።

AISeeWhy የAI ክሮውለር ትራፊክን ለማረጋገጥ እንዴት ሊረዳ ይችላል?

ነጻው የAISeeWhy የAI ክሮውለር IP ፍተሻ አንድ IP አድራሻ የGPTBot ወይም የሌላ AI ክሮውለር መሆኑን ያለ መለያ ይነግርዎታል። ከዚያ ነጻው የድረ-ገጽ ፍተሻ ገጽዎን ከእውነተኛ አሳሽ ጎን እንደ 16 የAI እና የፍለጋ ክሮውለሮች ይጠይቃል፣ ስለዚህ እውነተኞቹ ክሮውለሮች የሚያገኙትን ማየት ይችላሉ።

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

የGPTBot user agent ምንድን ነው?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ያትማል፣ ስሪቱ ሊለወጥ እንደሚችልም ይገልጻል። GPTBotን ያዛምዱ፣ IPውንም በhttps://openai.com/gptbot.json ያረጋግጡ።

የOAI-SearchBot user agent ምንድን ነው?

በcompatible; OAI-SearchBot/1.4; +https://openai.com/searchbot የሚያልቅ የChrome ዓይነት string ነው። አድራሻዎቹ በhttps://openai.com/searchbot.json ውስጥ ተዘርዝረዋል። OpenAI ድረ-ገጾችን በChatGPT ፍለጋ ውስጥ ለማሳየት ይጠቀምበታል፤ ይህ ከGPTBot የተለየ ሥራ ነው።

Anthropic የClaudeBot IP አድራሻዎችን ያትማል?

አዎ። Anthropic ወደ https://claude.com/crawling/bots.json ያገናኛል፣ በዚያ ዝርዝር ውስጥ ያለ የምንጭ IP ክሮውለሩ ከAnthropic መሆኑን እንደሚያሳይም ይናገራል። የእገዛ ጽሑፉ የቦት tokensን ይጠቅሳል፣ ሙሉ user agent strings ግን አይጠቅስም።

Google-Extendedን ወይም Applebot-Extendedን በlogsዬ ውስጥ ማየት እችላለሁ?

አይችሉም። ሁለቱም ክሮውለሮች ሳይሆኑ የrobots.txt tokens ናቸው። Google እና Apple ገጾችን በGooglebot እና በApplebot ያመጣሉ፣ እነዚህን tokens የሚጠቀሙት ይዘቱ ለAI እንዴት ሊውል እንደሚችል ለመወሰን ብቻ ነው።

የbingbot IP አድራሻ ዝርዝር የት ነው?

Bing በhttps://www.bing.com/toolbox/bingbot.json ያትመዋል፣ በየቀኑ እንዲያድሱትም ይጠይቃል። የራሱ መመሪያ ስሙ በsearch.msn.com ማለቅ ያለበትን የreverse እና forward DNS ፍተሻ ይመክራል።

ምንጮች

ተጨማሪ ጽሑፎች