Server loglarida AI kraulerlarini qanday tekshirish mumkin
Access logingizning user agent maydonidan GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot va PerplexityBot kabi tokenlarni qidiring, soʻng ular olgan status kodlariga qarang. User agentning oʻzi hech narsani isbotlamaydi, shuning uchun har bir manba IP manzilini ishlab chiquvchi eʼlon qilgan IP roʻyxati bilan, Google va Apple uchun esa reverse va forward DNS orqali tekshiring.
robots.txt kraulerlardan nima qilishni soʻrayotganingizni bildiradi. Access log esa amalda nima boʻlganini koʻrsatadi: qaysi AI kraulerlari kelgan, ular qaysi sahifalarni soʻragan va serveringiz nima javob bergan. Bu sizdagi eng toʻgʻridan-toʻgʻri dalil va unga log fayllari hamda terminaldan boshqa hech narsa kerak emas. Quyidagi misollar nginx va Apache standart boʻyicha ishlatadigan combined log formatidan foydalanadi.
Ushbu sahifada
- Access logda AI krauleri tashrifi qanday koʻrinadi?
- AI kraulerlari tashriflarini qanday sanayman?
- Har bir krauler amalda nima oldi?
- Tashrif haqiqatan OpenAI, Anthropic yoki Perplexityʼdan kelganini qanday tasdiqlayman?
- Googlebot, Applebot va CCBotʼni qanday tasdiqlayman?
- Soxta AI kraulerlari qanday koʻrinadi?
- Loglar nimani aytib bera olmaydi?
Access logda AI krauleri tashrifi qanday koʻrinadi?
Combined formatda har bir qatorda mijoz IP manzili, vaqt, soʻrov qatori, status kodi, javob hajmi, referrer va user agent boʻladi. nginx uni $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" deb belgilaydi, Apacheʼning combined formatida ham xuddi shu maydonlar bor. OpenAI oʻqitish kraulerining tashrifi quyidagicha koʻrinadi:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" Qidirish kerak boʻlgan tokenlar — ishlab chiquvchilar hujjatlashtirganlari: GPTBot, OAI-SearchBot va ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot va Claude-User (Anthropic); PerplexityBot va Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer va CCBot. Google-Extended yoki Applebot-Extendedni hech qachon koʻrmaysiz. Google Google-Extendedning alohida user agent qatori yoʻqligini, Apple esa Applebot-Extended kraul qilmasligini aytadi; ikkalasi ham faqat robots.txt tokenlari.
AI kraulerlari tashriflarini qanday sanayman?
Har bir qatorni qoʻshtirnoq belgisi boʻyicha ajratsangiz, user agent 6-maydonga tushadi. Faqat shu maydonni tekshirish tasodifan bot nomi bor URLʼlardan kelib chiqadigan notoʻgʻri mosliklarning oldini oladi. Quyidagi buyruq joriy log hamda aylantirilgan va siqilgan loglar boʻyicha har bir krauler tashriflarini sanaydi:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Apache uchun yoʻlni moslang, koʻpincha bu /var/log/apache2/access.log* yoki /var/log/httpd/access_log*. zcat -f oddiy fayllarni ham, gzip bilan siqilganlarini ham oʻqiydi. Agar kutgan kraulingiz yoʻq boʻlsa, bu oʻz-oʻzidan bloklash isboti emas: u loglaringiz qamragan davrda shunchaki kelmagan boʻlishi mumkin.
Har bir krauler amalda nima oldi?
Tashriflardan koʻra javoblar muhimroq. Har bir soʻroviga 403 oladigan krauler kelgan, lekin hech narsa oʻqimagan. Quyidagi buyruqlar status kodlarini, eng koʻp soʻralgan yoʻllarni va krauler robots.txt ni yuklagan-yuklamaganini koʻrsatadi:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c Asosan 200 javoblari — sizga kerak boʻlgani shu. Koʻp 403 yoki 429 firewall qoidasi yoki rate limitga ishora qiladi. robots.txt uchun 5xx javoblari jiddiy: RFC 9309 boʻyicha robots.txt uchun server xatosini olgan krauler butun sayt taqiqlangan deb hisoblashi kerak.
Agar saytingiz CDN ortida boʻlsa, ikki narsa oʻzgaradi. CDN bloklagan soʻrovlar origin serveringizga umuman yetib bormaydi, shuning uchun ular uning loglarida koʻrinmaydi; buning oʻrniga CDNʼning oʻz xavfsizlik hodisalarini tekshiring. Bundan tashqari, tashrifchi IP manzilini tiklamasangiz, origin CDN manzilini yozib qoʻyadi. Masalan, Cloudflare asl IP manzilni CF-Connecting-IP sarlavhasida yuboradi va standart boʻyicha logga Cloudflare IP manzili yoziladi.
Tashrif haqiqatan OpenAI, Anthropic yoki Perplexityʼdan kelganini qanday tasdiqlayman?
Bu ishlab chiquvchilar oʻz agentlari ishlatadigan IP diapazonlarini eʼlon qiladi: OpenAI openai.com/gptbot.json, openai.com/searchbot.json va openai.com/chatgpt-user.json da; Anthropic claude.com/crawling/bots.json da; Perplexity perplexity.ai/perplexitybot.json va perplexity.ai/perplexity-user.json da. Anthropic aytishicha, manba IP manzili uning roʻyxatida boʻlsa, krauler Anthropicʼdan kelayotganini bildiradi. Bu uchtasining hech biri reverse DNS orqali tasdiqlashni hujjatlashtirmagan, shuning uchun roʻyxatlardan foydalaning.
Fayllar bir xil tuzilishga ega — ipv4Prefix yoki ipv6Prefix yozuvlaridan iborat prefixes roʻyxati, shuning uchun bitta kichik skript IP manzilni ularning istalgan biri bilan tekshiradi:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF Muayyan krauler nomidan kelgan IP manzillarni roʻyxatlash uchun logda awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' ni ishga tushiring va natijani sort | uniq -c | sort -rn orqali oʻtkazing. Har birini tegishli roʻyxat bilan tekshiring. Roʻyxatlar oʻzgarib turadi, shuning uchun eski nusxani saqlash oʻrniga ularni har safar yangidan yuklang.
Googlebot, Applebot va CCBotʼni qanday tasdiqlayman?
Google, Apple va Common Crawl reverse va forward DNS tekshiruvini hujjatlashtirgan. IP manzilning host nomini aniqlang, uning domenini tekshiring, soʻng shu host nomini qayta aniqlang va u aynan shu IP manzilga qaytib ishora qilishiga ishonch hosil qiling:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Google uchun host nomi kraulerga qarab googlebot.com, google.com yoki googleusercontent.com bilan tugashi kerak; Google oʻz diapazonlarini ham eʼlon qiladi, Googlebot common-crawlers.json da. Apple uchun u applebot.apple.com ichida boʻlishi kerak, diapazonlar applebot.json da. Common Crawl uchun u crawl.commoncrawl.org ostida boʻlishi kerak va Common Crawl boshqa kraulerlar CCBot nomini yolgʻondan ishlatishidan ogohlantiradi.
Soxta AI kraulerlari qanday koʻrinadi?
Skreperlar filtrlardan oʻtish uchun koʻpincha taniqli kraulerning user agentini oʻzlashtirib oladi. Odatiy belgilar:
- User agent kraulerni nomlaydi, lekin IP manzil oʻsha ishlab chiquvchining eʼlon qilingan roʻyxatida yoʻq yoki uning reverse DNS mos kelmaydi.
- Manba — uy internet tarmogʻi yoki ishlab chiquvchi roʻyxatda koʻrsatmagan bulut provayderi.
- Mijoz hech qachon robots.txt ni soʻramaydi yoki robots.txt oʻsha krauler uchun taqiqlagan yoʻllarni soʻraydi.
- Soʻrovlar tezligi yoki tartibi xuddi shu nom ostidagi tasdiqlangan trafikdan keskin farq qiladi, masalan qidiruv yoki login endpointʼlariga toʻsatdan koʻp soʻrovlar.
Teskari muammo ham bor: oddiy brauzer user agentidan foydalanadigan kraulerni log qatoridan umuman aniqlab boʻlmaydi. 2025-yilda Cloudflare Perplexityʼning eʼlon qilingan diapazonlardan tashqaridagi IP manzillardan, eʼlon qilinmagan, brauzerga oʻxshash user agentlar bilan kraul qilayotganini kuzatganini aytdi; Perplexity bu talqinga eʼtiroz bildirib, trafikning bir qismini uchinchi tomon xizmatiga bogʻladi. Bunday holatlarni faqat loglar bilan hal qilib boʻlmaydi, shuning uchun eʼlon qilingan IP diapazonlari orqali tasdiqlash ikkala yoʻnalishda ham muhim.
Loglar nimani aytib bera olmaydi?
Loglar serveringizga nima yetib kelganini koʻrsatadi. Ular CDN origin serverdan oldin nimani bloklaganini, 200 qaytargan sahifada matn boʻlganmi yoki faqat skript qobigʻi boʻlganmi, yoki krauler bugun kelsa, unga ruxsat berilishini koʻrsatmaydi. Ular faqat siz saqlaydigan davrni qamraydi, kam tashrif buyuriladigan saytlarda esa AI kraulerlari kamdan-kam koʻrinishi mumkin.
AISeeWhy hisobida combined formatdagi access logni yuklashingiz mumkin (oddiy yoki .gz, 50 MB gacha); u tahlil qilinadi va oʻchiriladi, har bir AI krauleri soʻrovlari status kodlari bilan sanaladi va ishlab chiquvchilar eʼlon qilgan IP diapazonlari bilan tekshiriladi.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- AI kraulerlari IP tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Nega loglarimda Google-Extendedʼni koʻrmayapman?
Google Google-Extendedning alohida user agent qatori yoʻqligini aytadi. Kraulingni Googleʼning mavjud kraulerlari bajaradi, token esa faqat kontentdan qanday foydalanish mumkinligini boshqaradi. Xuddi shu narsa Apple kraul qilmasligini aytgan Applebot-Extendedga ham tegishli.
Loglarimdagi user agentga ishonsam boʻladimi?
Yoʻq. Har kim istalgan user agentni yuborishi mumkin. Uni daʼvo sifatida qabul qiling va ishlab chiquvchi eʼlon qilgan IP diapazonlari yoki Google, Apple va Common Crawl uchun reverse va forward DNS tekshiruvi bilan tasdiqlang.
Loglarimda AI kraulerlari tashriflari yoʻq. Men bloklanganmanmi?
Shart emas. Krauler hali kelmagan boʻlishi, CDN uni origin serverdan oldin bloklagan boʻlishi yoki loglaringiz faqat CDN IP manzillarini yozayotgan boʻlishi mumkin. CDN xavfsizlik hodisalarini tekshiring va sahifani har bir kraulerning user agenti bilan sinab koʻring.
ChatGPT-User trafigi kraulermi?
OpenAI ChatGPT-User muayyan foydalanuvchi harakatlari uchun ishlatilishini va vebni avtomatik kraul qilishda ishlatilmasligini aytadi. Uning tashriflari odatda kimdir ChatGPTʼdan sahifa haqida soʻraganidan keyin boʻladi, shuning uchun ular kam sonda keladi.
Manbalar
- nginx: ngx_http_log_module (combined log formati)
- Apache HTTP Server 2.4: Log fayllari
- OpenAI: OpenAI kraulerlari haqida umumiy maʼlumot
- Anthropic: Anthropic vebdan maʼlumot kraul qiladimi va sayt egalari kraulerni qanday bloklashi mumkin?
- Perplexity: Perplexity kraulerlari
- Google: Google kraulerlari va fetcherlarini tasdiqlash
- Google: Umumiy kraulerlar, jumladan Google-Extended
- Apple: Applebot haqida
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Tashrifchilarning asl IP manzillarini tiklash
- Cloudflare: Perplexity sayt taqiqlarini chetlab oʻtish uchun yashirin, eʼlon qilinmagan kraulerlardan foydalanmoqda
- Perplexity: Agentlarmi yoki botlarmi? Ochiq vebdagi AIʼni tushunish