የሰርቨር logsን ለAI ክሮውለሮች እንዴት መፈተሽ ይቻላል

የታተመበት

አጭር መልስ

በaccess logዎ የuser agent መስክ ውስጥ እንደ GPTBot፣ OAI-SearchBot፣ ClaudeBot፣ Claude-SearchBot እና PerplexityBot ያሉ tokensን ይፈልጉ፣ ከዚያ ያገኟቸውን የሁኔታ ኮዶች ይመልከቱ። user agent ብቻውን ምንም አያረጋግጥም፣ ስለዚህ እያንዳንዱን የምንጭ IP ከአቅራቢው የታተመ የIP ዝርዝር ጋር፣ ወይም ለGoogle እና Apple በreverse እና forward DNS ያረጋግጡ።

robots.txt ክሮውለሮች እንዲያደርጉ የሚጠይቁትን ይናገራል። access logዎ ደግሞ በእርግጥ የሆነውን ያሳያል፦ የትኞቹ የAI ክሮውለሮች እንደመጡ፣ የትኞቹን ገጾች እንደጠየቁ እና አገልጋይዎ ምን እንደመለሰ። ያለዎት በጣም ቀጥተኛ ማስረጃ ነው፣ እና ከlog ፋይሎች እና ከterminal በቀር ምንም አያስፈልገውም። ከታች ያሉት ምሳሌዎች nginx እና Apache በነባሪ የሚጠቀሙበትን combined log format ይጠቀማሉ።

በዚህ ገጽ ላይ
  1. የAI ክሮውለር ጉብኝት በaccess log ውስጥ ምን ይመስላል?
  2. የAI ክሮውለር ጉብኝቶችን እንዴት እቆጥራለሁ?
  3. እያንዳንዱ ክሮውለር በእርግጥ ምን አገኘ?
  4. ጉብኝቱ በእርግጥ ከOpenAI፣ Anthropic ወይም Perplexity መምጣቱን እንዴት አረጋግጣለሁ?
  5. Googlebotን፣ Applebotን እና CCBotን እንዴት አረጋግጣለሁ?
  6. የሐሰት የAI ክሮውለሮች ምን ይመስላሉ?
  7. logs ሊነግሩዎት የማይችሉት ምንድን ነው?

የAI ክሮውለር ጉብኝት በaccess log ውስጥ ምን ይመስላል?

በcombined format ውስጥ እያንዳንዱ መስመር የደንበኛውን IP፣ ሰዓቱን፣ የጥያቄ መስመሩን፣ የሁኔታ ኮዱን፣ የምላሹን መጠን፣ referrerን እና user agentን ይይዛል። nginx $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ብሎ ይገልጸዋል፣ የApache combined format ደግሞ ተመሳሳይ መስኮች አሉት። የOpenAI የስልጠና ክሮውለር ጉብኝት ይህን ይመስላል፦

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

የሚፈለጉት tokens አቅራቢዎቹ የሚገልጿቸው ናቸው፦ GPTBot፣ OAI-SearchBot እና ChatGPT-User (OpenAI)፤ ClaudeBot፣ Claude-SearchBot እና Claude-User (Anthropic)፤ PerplexityBot እና Perplexity-User (Perplexity)፤ Googlebot፣ Applebot፣ meta-externalagent፣ meta-webindexer እና CCBot። Google-Extendedን ወይም Applebot-Extendedን በጭራሽ አያዩም። Google Google-Extended የተለየ የuser agent string እንደሌለው ይናገራል፣ Apple ደግሞ Applebot-Extended ክሮውል እንደማያደርግ ይናገራል፤ ሁለቱም የrobots.txt tokens ብቻ ናቸው።

የAI ክሮውለር ጉብኝቶችን እንዴት እቆጥራለሁ?

እያንዳንዱን መስመር በድርብ ትዕምርተ ጥቅስ ምልክት መከፋፈል user agentን በመስክ 6 ውስጥ ያስቀምጠዋል። ያንን መስክ ብቻ ማዛመድ የቦትን ስም በአጋጣሚ ከያዙ URLs የሚመጡ የሐሰት ግጥሚያዎችን ያስቀራል። ይህ በአሁኑ log እና በrotated፣ በተጨመቁ logs ውስጥ ጉብኝቶችን በየክሮውለሩ ይቆጥራል፦

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

ለApache pathውን ያስተካክሉ፣ ብዙ ጊዜ /var/log/apache2/access.log* ወይም /var/log/httpd/access_log* ነው። zcat -f ሁለቱንም ተራ እና gzip የተደረጉ ፋይሎችን ያነባል። የሚጠብቁት ክሮውለር ከሌለ፣ ያ ብቻውን የእገዳ ማረጋገጫ አይደለም፦ logsዎ በሚሸፍኑት ጊዜ ውስጥ በቀላሉ ላይጎበኝ ይችላል።

እያንዳንዱ ክሮውለር በእርግጥ ምን አገኘ?

ከጉብኝቶች ይልቅ ምላሾች ይበልጥ አስፈላጊ ናቸው። በእያንዳንዱ ጥያቄ 403 የሚያገኝ ክሮውለር ጎብኝቷል፣ ግን ምንም አላነበበም። እነዚህ ትዕዛዞች የሁኔታ ኮዶችን፣ በብዛት የተጠየቁ pathsን እና ክሮውለሩ robots.txtን ያመጣ እንደሆነ ያሳያሉ፦

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

የሚፈልጉት በአብዛኛው 200ዎችን ነው። ብዙ 403ዎች ወይም 429ዎች ወደ ፋየርዎል ደንብ ወይም rate limit ይጠቁማሉ። በrobots.txt ላይ የሚመጡ 5xx ምላሾች ከባድ ናቸው፦ በRFC 9309 መሠረት ለrobots.txt የአገልጋይ ስህተት የሚያገኝ ክሮውለር መላው ድረ-ገጽ እንደተከለከለ መገመት አለበት።

ድረ-ገጽዎ ከCDN ጀርባ ከሆነ ሁለት ነገሮች ይለወጣሉ። CDNው የሚያግዳቸው ጥያቄዎች ወደ origin አይደርሱም፣ ስለዚህ በlogsቹ ውስጥ ጨርሶ አይታዩም፤ በምትኩ የCDNውን የራሱን የደህንነት ክስተቶች ይፈትሹ። እና የጎብኚውን IP ካልመለሱ፣ origin የCDNውን አድራሻ ይመዘግባል። ለምሳሌ Cloudflare የመጀመሪያውን IP በCF-Connecting-IP header ይልካል፣ በነባሪ ደግሞ የCloudflare IP ይመዘገባል።

ጉብኝቱ በእርግጥ ከOpenAI፣ Anthropic ወይም Perplexity መምጣቱን እንዴት አረጋግጣለሁ?

እነዚህ አቅራቢዎች ወኪሎቻቸው የሚጠቀሙባቸውን የIP ክልሎች ያትማሉ፦ OpenAI በopenai.com/gptbot.json፣ openai.com/searchbot.json እና openai.com/chatgpt-user.json፤ Anthropic በclaude.com/crawling/bots.json፤ Perplexity በperplexity.ai/perplexitybot.json እና perplexity.ai/perplexity-user.json። Anthropic በዝርዝሩ ላይ ያለ የምንጭ IP ክሮውለሩ ከAnthropic እንደሚመጣ እንደሚያመለክት ይናገራል። ከእነዚህ ሦስቱ አንዳቸውም የreverse DNS ማረጋገጫን አይገልጹም፣ ስለዚህ ዝርዝሮቹን ይጠቀሙ።

ፋይሎቹ አንድ ቅርጽ አላቸው፣ የipv4Prefix ወይም ipv6Prefix ግቤቶች ያሉት የprefixes ዝርዝር፣ ስለዚህ አንድ ትንሽ script IPን ከማንኛቸውም ጋር ይፈትሻል፦

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

አንድን ክሮውለር ነን ያሉትን IPs ለመዘርዘር awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}'ን በlogው ላይ ያስኪዱ እና በsort | uniq -c | sort -rn ያሳልፉት። እያንዳንዱን ከሚዛመደው ዝርዝር ጋር ያረጋግጡ። ዝርዝሮቹ ይለወጣሉ፣ ስለዚህ የቆየ ቅጂ ከማስቀመጥ ይልቅ አዲስ ያምጧቸው።

Googlebotን፣ Applebotን እና CCBotን እንዴት አረጋግጣለሁ?

Google፣ Apple እና Common Crawl የreverse እና forward DNS ፍተሻን ይገልጻሉ። የIPውን hostname ይፈልጉ፣ domainኑን ያረጋግጡ፣ ከዚያ ያንን hostname ፈልገው ወደዚያው IP እንደሚመለስ ያረጋግጡ፦

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

ለGoogle hostnameው እንደ ክሮውለሩ በgooglebot.com፣ google.com ወይም googleusercontent.com ማለቅ አለበት፤ Google ክልሎቹንም ያትማል፣ Googlebot በcommon-crawlers.json ውስጥ ነው። ለApple በapplebot.apple.com ውስጥ መሆን አለበት፣ ክልሎቹ በapplebot.json ውስጥ ናቸው። ለCommon Crawl በcrawl.commoncrawl.org ስር መሆን አለበት፣ Common Crawl ደግሞ ሌሎች ክሮውለሮች የCCBotን ስም በሐሰት እንደሚጠቀሙ ያስጠነቅቃል።

የሐሰት የAI ክሮውለሮች ምን ይመስላሉ?

scrapers ማጣሪያዎችን ለማለፍ ብዙ ጊዜ የታወቀ ክሮውለርን user agent ይዋሳሉ። የተለመዱ ምልክቶች፦

ተቃራኒው ችግርም አለ፦ ተራ የአሳሽ user agent የሚጠቀም ክሮውለር ከlog መስመሩ ጨርሶ ሊለይ አይችልም። በ2025 Cloudflare Perplexity ከታተሙ ክልሎቹ ውጭ ካሉ IPs ያልተገለጹ፣ አሳሽ የሚመስሉ user agents ተጠቅሞ ክሮውል ሲያደርግ እንደተመለከተ ተናግሯል፤ Perplexity ያንን ዘገባ ተቃውሞ ከትራፊኩ የተወሰነውን ለሦስተኛ ወገን አገልግሎት ሰጥቷል። logs ብቻቸውን እንደዚህ ያሉ ጉዳዮችን ሊፈቱ አይችሉም፣ ለዚህም ነው በታተሙ IP ክልሎች ማረጋገጥ በሁለቱም አቅጣጫዎች አስፈላጊ የሆነው።

logs ሊነግሩዎት የማይችሉት ምንድን ነው?

logs ወደ አገልጋይዎ የደረሰውን ያሳያሉ። CDNዎ ከorigin በፊት ያገደውን፣ 200 የመለሰ ገጽ ጽሑፉን ወይም የscript shell ብቻ ይዞ እንደነበረ፣ ወይም ክሮውለሩ ዛሬ ቢመጣ ይፈቀድለት እንደሆነ አያሳዩም። የሚያስቀምጡትን ጊዜ ብቻም ይሸፍናሉ፣ ጸጥ ያሉ ድረ-ገጾች ደግሞ የAI ክሮውለሮችን አልፎ አልፎ ብቻ ሊያዩ ይችላሉ።

በAISeeWhy መለያ ውስጥ በcombined format ያለ access log (ተራ ወይም .gz፣ እስከ 50 MB) መስቀል ይችላሉ፤ ይተነተናል እና ይሰረዛል፣ የእያንዳንዱ የAI ክሮውለር ጥያቄዎች ከሁኔታ ኮዶቻቸው ጋር ይቆጠራሉ እና አቅራቢዎቹ ከሚያትሟቸው የIP ክልሎች ጋር ይረጋገጣሉ።

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

Google-Extendedን በlogsዬ ውስጥ ለምን አላየውም?

Google Google-Extended የተለየ የuser agent string እንደሌለው ይናገራል። ክሮውሊንጉ የሚደረገው በGoogle ነባር ክሮውለሮች ነው፣ tokenኑ የሚቆጣጠረው ይዘቱ እንዴት ጥቅም ላይ ሊውል እንደሚችል ብቻ ነው። ተመሳሳዩ ለApplebot-Extendedም ይሠራል፤ Apple ክሮውል እንደማያደርግ ይናገራል።

በlogsዬ ውስጥ ያለውን user agent ማመን እችላለሁ?

አይችሉም። ማንም ሰው ማንኛውንም user agent መላክ ይችላል። እንደ መግለጫ ይውሰዱት እና በአቅራቢው የታተሙ IP ክልሎች፣ ወይም ለGoogle፣ Apple እና Common Crawl በreverse እና forward DNS ፍለጋ ያረጋግጡት።

logsዬ ምንም የAI ክሮውለር ጉብኝት አያሳዩም። ታግጃለሁ?

የግድ አይደለም። ክሮውለሩ ገና ላይጎበኝ ይችላል፣ CDNዎ ከorigin በፊት አግዶት ሊሆን ይችላል፣ ወይም logsዎ የCDNውን IP አድራሻዎች ብቻ ሊመዘግቡ ይችላሉ። የCDNዎን የደህንነት ክስተቶች ይፈትሹ እና ገጹን በእያንዳንዱ ክሮውለር user agent ይሞክሩ።

የChatGPT-User ትራፊክ ክሮውለር ነው?

OpenAI ChatGPT-User ለአንዳንድ የተጠቃሚ ድርጊቶች እንደሚውል እና ድርን በራስ-ሰር ክሮውል ለማድረግ እንደማይውል ይናገራል። ጉብኝቶቹ ብዙ ጊዜ አንድ ሰው ChatGPTን ስለ አንድ ገጽ ከጠየቀ በኋላ ይመጣሉ፣ ስለዚህ በትንሽ ቁጥር ይመጣሉ።

ምንጮች

ተጨማሪ ጽሑፎች