چطور لاگ‌های سرور را برای خزنده‌های هوش مصنوعی بررسی کنیم

تاریخ انتشار

پاسخ کوتاه

در فیلد user agent لاگ دسترسی دنبال توکن‌هایی مانند GPTBot، OAI-SearchBot، ClaudeBot، Claude-SearchBot و PerplexityBot بگردید و سپس ببینید چه کدهای وضعیتی دریافت کرده‌اند. user agent به‌تنهایی چیزی را ثابت نمی‌کند؛ پس IP مبدأ هر درخواست را با فهرست IP منتشرشده شرکت سازنده مقایسه کنید، یا برای Google و Apple با DNS معکوس و مستقیم بررسی کنید.

robots.txt می‌گوید از خزنده‌ها چه خواسته‌اید. لاگ دسترسی نشان می‌دهد واقعاً چه اتفاقی افتاده است: کدام خزنده‌های هوش مصنوعی آمدند، چه صفحه‌هایی را درخواست کردند و سرور شما چه پاسخی داد. این مستقیم‌ترین شاهدی است که در اختیار دارید و چیزی جز فایل‌های لاگ و یک ترمینال لازم ندارد. مثال‌های زیر از قالب combined استفاده می‌کنند که پیش‌فرض nginx و Apache است.

در این صفحه
  1. بازدید یک خزنده هوش مصنوعی در لاگ دسترسی چه شکلی است؟
  2. چطور بازدیدهای خزنده‌های هوش مصنوعی را بشمارم؟
  3. هر خزنده واقعاً چه چیزی دریافت کرد؟
  4. چطور تأیید کنم بازدیدی واقعاً از OpenAI، Anthropic یا Perplexity آمده است؟
  5. چطور Googlebot، Applebot و CCBot را تأیید کنم؟
  6. خزنده‌های جعلی هوش مصنوعی چه شکلی هستند؟
  7. لاگ‌ها چه چیزهایی را نمی‌توانند به شما بگویند؟

بازدید یک خزنده هوش مصنوعی در لاگ دسترسی چه شکلی است؟

در قالب combined هر خط شامل IP کلاینت، زمان، خط درخواست، کد وضعیت، اندازه پاسخ، ارجاع‌دهنده (referrer) و user agent است. nginx آن را به شکل $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" تعریف می‌کند و قالب combined در Apache همین فیلدها را دارد. بازدید خزنده آموزشی OpenAI این شکلی است:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

توکن‌هایی که باید دنبالشان بگردید همان‌هایی هستند که شرکت‌ها مستند کرده‌اند: GPTBot، OAI-SearchBot و ChatGPT-User (OpenAI)؛ ClaudeBot، Claude-SearchBot و Claude-User (Anthropic)؛ PerplexityBot و Perplexity-User (Perplexity)؛ Googlebot، Applebot، meta-externalagent، meta-webindexer و CCBot. هرگز Google-Extended یا Applebot-Extended را نخواهید دید. Google می‌گوید Google-Extended رشته user agent جداگانه‌ای ندارد و Apple می‌گوید Applebot-Extended نمی‌خزد؛ هر دو فقط توکن robots.txt هستند.

چطور بازدیدهای خزنده‌های هوش مصنوعی را بشمارم؟

اگر هر خط را با کاراکتر نقل‌قول دوتایی جدا کنید، user agent در فیلد 6 قرار می‌گیرد. تطبیق فقط همین فیلد از نتیجه‌های کاذب ناشی از URLهایی که اتفاقاً نام یک ربات را دارند جلوگیری می‌کند. این دستور بازدیدها را به تفکیک خزنده در لاگ فعلی و لاگ‌های چرخش‌یافته و فشرده می‌شمارد:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

مسیر را برای Apache تنظیم کنید؛ معمولاً /var/log/apache2/access.log* یا /var/log/httpd/access_log*. zcat -f هم فایل‌های ساده و هم فایل‌های gzip را می‌خواند. اگر خزنده‌ای که انتظارش را دارید در لاگ نیست، این به‌تنهایی ثابت نمی‌کند مسدود شده است؛ شاید فقط در بازه‌ای که لاگ‌های شما پوشش می‌دهند سر نزده باشد.

هر خزنده واقعاً چه چیزی دریافت کرد؟

پاسخ‌ها از بازدیدها مهم‌ترند. خزنده‌ای که برای هر درخواست 403 می‌گیرد، سر زده اما چیزی نخوانده است. این دستورها کدهای وضعیت، پرتکرارترین مسیرها و اینکه خزنده robots.txt را دریافت کرده یا نه را نشان می‌دهند:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

آنچه می‌خواهید بیشتر 200 است. تعداد زیاد 403 یا 429 نشانه یک قانون فایروال یا محدودیت نرخ درخواست است. پاسخ 5xx برای robots.txt جدی است: طبق RFC 9309 خزنده‌ای که برای robots.txt خطای سرور بگیرد باید فرض کند کل سایت ممنوع است.

اگر سایت شما پشت CDN است، دو چیز فرق می‌کند. درخواست‌هایی که CDN مسدود می‌کند هرگز به سرور اصلی (origin) نمی‌رسند، پس اصلاً در لاگ‌های آن دیده نمی‌شوند؛ به‌جای آن رویدادهای امنیتی خود CDN را بررسی کنید. همچنین اگر IP بازدیدکننده را بازیابی نکنید، سرور اصلی نشانی CDN را ثبت می‌کند. برای مثال Cloudflare نشانی IP اصلی را در هدر CF-Connecting-IP می‌فرستد و به‌طور پیش‌فرض یک IP مربوط به Cloudflare ثبت می‌شود.

چطور تأیید کنم بازدیدی واقعاً از OpenAI، Anthropic یا Perplexity آمده است؟

این شرکت‌ها بازه‌های IP عامل‌هایشان را منتشر می‌کنند: OpenAI در openai.com/gptbot.json، openai.com/searchbot.json و openai.com/chatgpt-user.json؛ Anthropic در claude.com/crawling/bots.json؛ Perplexity در perplexity.ai/perplexitybot.json و perplexity.ai/perplexity-user.json. Anthropic می‌گوید IP مبدئی که در فهرست آن باشد نشان می‌دهد خزنده از طرف Anthropic است. هیچ‌کدام از این سه شرکت تأیید با DNS معکوس را مستند نکرده‌اند؛ پس از فهرست‌ها استفاده کنید.

این فایل‌ها ساختار یکسانی دارند، یعنی فهرست prefixes با مدخل‌های ipv4Prefix یا ipv6Prefix؛ پس یک اسکریپت کوچک می‌تواند یک IP را با هر کدام از آن‌ها مقایسه کند:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

برای فهرست کردن IPهایی که ادعا کرده‌اند یک خزنده مشخص هستند، awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' را روی لاگ اجرا کنید و خروجی را از sort | uniq -c | sort -rn عبور دهید. هر IP را با فهرست مربوط مقایسه کنید. فهرست‌ها تغییر می‌کنند؛ پس به‌جای نگه داشتن نسخه قدیمی، هر بار آن‌ها را تازه دریافت کنید.

چطور Googlebot، Applebot و CCBot را تأیید کنم؟

Google، Apple و Common Crawl بررسی DNS معکوس و مستقیم را مستند کرده‌اند. نام میزبان IP را پیدا کنید، دامنه آن را بررسی کنید، سپس همان نام میزبان را جستجو کنید و مطمئن شوید به همان IP برمی‌گردد:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

برای Google نام میزبان بسته به خزنده باید به googlebot.com، google.com یا googleusercontent.com ختم شود؛ Google بازه‌هایش را هم منتشر می‌کند و Googlebot در common-crawlers.json است. برای Apple نام میزبان باید در applebot.apple.com باشد و بازه‌ها در applebot.json هستند. برای Common Crawl باید زیر crawl.commoncrawl.org باشد و Common Crawl هشدار می‌دهد که خزنده‌های دیگری به دروغ نام CCBot را به کار می‌برند.

خزنده‌های جعلی هوش مصنوعی چه شکلی هستند؟

اسکریپرها اغلب user agent یک خزنده شناخته‌شده را قرض می‌گیرند تا از فیلترها رد شوند. نشانه‌های معمول:

مشکل برعکس هم وجود دارد: خزنده‌ای که از user agent یک مرورگر معمولی استفاده می‌کند اصلاً از روی خط لاگ قابل شناسایی نیست. Cloudflare در 2025 گفت مشاهده کرده که Perplexity با user agentهای اعلام‌نشده و شبیه مرورگر، از IPهایی خارج از بازه‌های منتشرشده‌اش می‌خزد؛ Perplexity این روایت را رد کرد و بخشی از ترافیک را به یک سرویس شخص ثالث نسبت داد. لاگ‌ها به‌تنهایی نمی‌توانند چنین مواردی را روشن کنند و به همین دلیل تأیید با بازه‌های IP منتشرشده در هر دو جهت اهمیت دارد.

لاگ‌ها چه چیزهایی را نمی‌توانند به شما بگویند؟

لاگ‌ها نشان می‌دهند چه چیزی به سرور شما رسیده است. نشان نمی‌دهند CDN پیش از سرور اصلی چه چیزی را مسدود کرده، آیا صفحه‌ای که 200 برگردانده متن داشته یا فقط یک پوسته اسکریپتی، یا اینکه اگر خزنده امروز بیاید اجازه ورود دارد یا نه. همچنین فقط بازه‌ای را پوشش می‌دهند که نگه می‌دارید، و سایت‌های کم‌بازدید ممکن است خزنده‌های هوش مصنوعی را به‌ندرت ببینند.

در حساب AISeeWhy می‌توانید یک لاگ دسترسی با قالب combined بارگذاری کنید (ساده یا .gz، تا 50 MB)؛ لاگ تحلیل و سپس حذف می‌شود، درخواست‌های هر خزنده هوش مصنوعی همراه با کدهای وضعیتشان شمرده می‌شوند و با بازه‌های IP منتشرشده شرکت‌ها مقایسه می‌شوند.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

چرا Google-Extended را در لاگ‌هایم نمی‌بینم؟

Google می‌گوید Google-Extended رشته user agent جداگانه‌ای ندارد. خزیدن را خزنده‌های موجود Google انجام می‌دهند و این توکن فقط تعیین می‌کند محتوا چطور می‌تواند استفاده شود. همین درباره Applebot-Extended هم صدق می‌کند که Apple می‌گوید نمی‌خزد.

آیا می‌توانم به user agent در لاگ‌هایم اعتماد کنم؟

نه. هر کسی می‌تواند هر user agent دلخواهی بفرستد. آن را یک ادعا بدانید و با بازه‌های IP منتشرشده شرکت، یا برای Google، Apple و Common Crawl با جستجوی DNS معکوس و مستقیم، تأییدش کنید.

لاگ‌هایم هیچ بازدیدی از خزنده‌های هوش مصنوعی نشان نمی‌دهند. آیا مسدود شده‌ام؟

لزوماً نه. شاید خزنده هنوز سر نزده باشد، شاید CDN شما پیش از سرور اصلی آن را مسدود کرده باشد، یا شاید لاگ‌ها فقط نشانی‌های IP مربوط به CDN را ثبت کنند. رویدادهای امنیتی CDN را بررسی کنید و صفحه را با user agent هر خزنده آزمایش کنید.

آیا ترافیک ChatGPT-User از یک خزنده است؟

OpenAI می‌گوید ChatGPT-User برای برخی کارهای کاربران استفاده می‌شود و برای خزیدن خودکار وب به کار نمی‌رود. بازدیدهای آن معمولاً پس از آن است که کسی از ChatGPT درباره یک صفحه می‌پرسد، پس تعدادشان کم است.

منابع

مقاله‌های دیگر