Server loglarında AI botlarını necə yoxlamaq olar

Dərc olunub

Qısa cavab

Access logunuzun user agent sahəsində GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot və PerplexityBot kimi tokenləri axtarın, sonra onların aldığı status kodlarına baxın. Tək user agent heç nəyi sübut etmir, buna görə hər mənbə IP-ni şirkətin dərc etdiyi IP siyahısı ilə, Google və Apple üçün isə reverse və forward DNS ilə yoxlayın.

robots.txt botlardan nə etməyi xahiş etdiyinizi göstərir. Access logunuz isə əslində nə baş verdiyini göstərir: hansı AI botları gəldi, hansı səhifələri sorğuladı və serveriniz nə cavab verdi. Bu, əlinizdə olan ən birbaşa sübutdur və log fayllarından və terminaldan başqa heç nə tələb etmir. Aşağıdakı nümunələr nginx və Apache-nin standart olaraq istifadə etdiyi combined log formatından istifadə edir.

Bu səhifədə
  1. Access logda AI botunun ziyarəti necə görünür?
  2. AI botlarının ziyarətlərini necə saymaq olar?
  3. Hər bot əslində nə aldı?
  4. Ziyarətin həqiqətən OpenAI, Anthropic və ya Perplexity-dən gəldiyini necə təsdiqləmək olar?
  5. Googlebot, Applebot və CCBot-u necə təsdiqləmək olar?
  6. Saxta AI botları necə görünür?
  7. Loglar sizə nəyi deyə bilmir?

Access logda AI botunun ziyarəti necə görünür?

Combined formatda hər sətirdə müştərinin IP-si, vaxt, sorğu sətri, status kodu, cavabın ölçüsü, referrer və user agent olur. nginx onu $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" kimi təyin edir, Apache-nin combined formatında da eyni sahələr var. OpenAI-ın təlim botunun ziyarəti belə görünür:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Axtarılmalı tokenlər şirkətlərin sənədləşdirdikləridir: GPTBot, OAI-SearchBot və ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot və Claude-User (Anthropic); PerplexityBot və Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer və CCBot. Google-Extended və ya Applebot-Extended-i heç vaxt görməyəcəksiniz. Google bildirir ki, Google-Extended-in ayrıca user agent sətri yoxdur, Apple isə Applebot-Extended-in tarama aparmadığını deyir; hər ikisi yalnız robots.txt tokenləridir.

AI botlarının ziyarətlərini necə saymaq olar?

Hər sətri qoşa dırnaq simvoluna görə bölsəniz, user agent 6-cı sahəyə düşür. Yalnız bu sahəni uyğunlaşdırmaq təsadüfən botun adını daşıyan URL-lərdən yaranan yanlış nəticələrin qarşısını alır. Bu əmr cari logda, eləcə də fırlanmış və sıxılmış loglarda hər bot üzrə ziyarətləri sayır:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache üçün yolu dəyişin, çox vaxt bu, /var/log/apache2/access.log* və ya /var/log/httpd/access_log* olur. zcat -f həm adi, həm də gzip ilə sıxılmış faylları oxuyur. Gözlədiyiniz bot siyahıda yoxdursa, bu, təkbaşına blokun sübutu deyil: o, sadəcə loglarınızın əhatə etdiyi dövrdə gəlməmiş ola bilər.

Hər bot əslində nə aldı?

Ziyarətlər cavablardan az əhəmiyyət daşıyır. Hər sorğuda 403 alan bot gəlib, amma heç nə oxumayıb. Bu əmrlər status kodlarını, ən çox sorğulanan yolları və botun robots.txt-i yükləyib-yükləmədiyini göstərir:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

İstədiyiniz əsasən 200 cavablarıdır. Çoxlu 403 və ya 429 firewall qaydasına və ya rate limit-ə işarə edir. robots.txt üçün 5xx cavabları ciddi məsələdir: RFC 9309-a görə robots.txt üçün server xətası alan bot bütün saytın qadağan olunduğunu qəbul etməlidir.

Saytınız CDN arxasındadırsa, iki şey dəyişir. CDN-in blokladığı sorğular origin serverinizə heç vaxt çatmır, buna görə onun loglarında ümumiyyətlə görünmür; bunun əvəzinə CDN-in öz təhlükəsizlik hadisələrinə baxın. Ziyarətçinin IP-sini bərpa etməsəniz, origin CDN-in ünvanını loga yazır. Məsələn, Cloudflare orijinal IP-ni CF-Connecting-IP başlığında göndərir və standart olaraq loga Cloudflare IP-si düşür.

Ziyarətin həqiqətən OpenAI, Anthropic və ya Perplexity-dən gəldiyini necə təsdiqləmək olar?

Bu şirkətlər agentlərinin istifadə etdiyi IP diapazonlarını dərc edir: OpenAI openai.com/gptbot.json, openai.com/searchbot.json və openai.com/chatgpt-user.json ünvanlarında; Anthropic claude.com/crawling/bots.json ünvanında; Perplexity perplexity.ai/perplexitybot.json və perplexity.ai/perplexity-user.json ünvanlarında. Anthropic bildirir ki, mənbə IP onun siyahısındadırsa, bot Anthropic-dən gəlir. Bu üç şirkətin heç biri reverse DNS ilə təsdiqləməni sənədləşdirmir, buna görə siyahılardan istifadə edin.

Faylların forması eynidir: ipv4Prefix və ya ipv6Prefix elementlərindən ibarət prefixes siyahısı, buna görə bir kiçik skript IP-ni onların istənilən biri ilə yoxlayır:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Müəyyən bot adından istifadə edən IP-lərin siyahısını almaq üçün logda awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' əmrini işlədin və nəticəni sort | uniq -c | sort -rn vasitəsilə ötürün. Hər birini uyğun siyahı ilə yoxlayın. Siyahılar dəyişir, buna görə köhnə nüsxəni saxlamaq əvəzinə onları hər dəfə yenidən yükləyin.

Googlebot, Applebot və CCBot-u necə təsdiqləmək olar?

Google, Apple və Common Crawl reverse və forward DNS yoxlamasını sənədləşdirir. IP-nin host adını tapın, onun domenini yoxlayın, sonra həmin host adını sorğulayın və onun yenidən eyni IP-yə işarə etdiyini təsdiqləyin:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google üçün host adı botdan asılı olaraq googlebot.com, google.com və ya googleusercontent.com ilə bitməlidir; Google öz diapazonlarını da dərc edir, Googlebot common-crawlers.json faylındadır. Apple üçün o, applebot.apple.com daxilində olmalıdır, diapazonlar isə applebot.json faylındadır. Common Crawl üçün o, crawl.commoncrawl.org altında olmalıdır və Common Crawl xəbərdarlıq edir ki, başqa botlar CCBot adını saxta şəkildə istifadə edir.

Saxta AI botları necə görünür?

Skreyperlər filtrlərdən keçmək üçün tez-tez tanınmış botun user agent-indən istifadə edir. Tipik əlamətlər:

Əks problem də var: adi brauzer user agent-indən istifadə edən botu log sətrindən ümumiyyətlə tanımaq olmur. 2025-ci ildə Cloudflare Perplexity-nin dərc olunmuş diapazonlardan kənar IP-lərdən elan edilməmiş, brauzerə bənzər user agent-lərlə tarama apardığını müşahidə etdiyini bildirdi; Perplexity bu izahatla razılaşmadı və trafikin bir hissəsini üçüncü tərəf xidmətinə aid etdi. Belə halları təkcə loglarla həll etmək olmur, buna görə dərc olunmuş IP diapazonları ilə təsdiqləmə hər iki istiqamətdə vacibdir.

Loglar sizə nəyi deyə bilmir?

Loglar serverinizə nəyin çatdığını göstərir. Onlar CDN-in origin-dən əvvəl nəyi blokladığını, 200 qaytaran səhifədə mətnin, yoxsa yalnız skript qabığının olduğunu, həmçinin botun bu gün gəlsəydi icazə alıb-almayacağını göstərmir. Onlar həm də yalnız saxladığınız dövrü əhatə edir, az ziyarət olunan saytlar isə AI botlarını nadir hallarda görə bilər.

AISeeWhy hesabında combined formatda access log yükləyə bilərsiniz (adi və ya .gz, 50 MB-adək); o, təhlil edilir və silinir, hər AI botunun sorğuları status kodları ilə birlikdə sayılır və şirkətlərin dərc etdiyi IP diapazonları ilə yoxlanılır.

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

Niyə loglarımda Google-Extended-i görmürəm?

Google bildirir ki, Google-Extended-in ayrıca user agent sətri yoxdur. Taramanı Google-un mövcud botları aparır, token isə yalnız məzmundan necə istifadə oluna biləcəyini idarə edir. Eyni şey Apple-ın tarama aparmadığını bildirdiyi Applebot-Extended-ə də aiddir.

Loglarımdakı user agent-ə etibar edə bilərəmmi?

Xeyr. İstənilən şəxs istənilən user agent göndərə bilər. Onu iddia kimi qəbul edin və şirkətin dərc etdiyi IP diapazonları ilə, Google, Apple və Common Crawl üçün isə reverse və forward DNS sorğusu ilə təsdiqləyin.

Loglarımda AI botlarının ziyarəti görünmür. Bloklanmışammı?

Mütləq deyil. Bot hələ gəlməmiş ola bilər, CDN onu origin-ə çatmazdan əvvəl bloklamış ola bilər və ya loglarınız yalnız CDN-in IP ünvanlarını yazır. CDN-in təhlükəsizlik hadisələrinə baxın və səhifəni hər botun user agent-i ilə yoxlayın.

ChatGPT-User trafiki botdurmu?

OpenAI bildirir ki, ChatGPT-User müəyyən istifadəçi əməliyyatları üçün istifadə olunur və vebi avtomatik taramaq üçün istifadə edilmir. Onun ziyarətləri adətən kiminsə ChatGPT-dən səhifə haqqında soruşmasından sonra baş verir, buna görə sayı az olur.

Mənbələr

Digər məqalələr