سرور لاگز میں AI کرالرز کیسے دیکھیں

شائع شدہ

مختصر جواب

اپنے access لاگ کے یوزر ایجنٹ فیلڈ میں GPTBot، OAI-SearchBot، ClaudeBot، Claude-SearchBot اور PerplexityBot جیسے ٹوکن تلاش کریں، پھر دیکھیں کہ انہیں کون سے اسٹیٹس کوڈ ملے۔ صرف یوزر ایجنٹ کچھ ثابت نہیں کرتا، اس لیے ہر ماخذ IP کو کمپنی کی شائع شدہ IP فہرست سے جانچیں، یا Google اور Apple کے لیے reverse اور forward DNS سے۔

robots.txt بتاتا ہے کہ آپ کرالرز سے کیا کرنے کو کہتے ہیں۔ آپ کا access لاگ دکھاتا ہے کہ اصل میں کیا ہوا: کون سے AI کرالرز آئے، انہوں نے کون سے صفحات منگوائے، اور آپ کے سرور نے کیا جواب دیا۔ یہ آپ کے پاس سب سے سیدھا ثبوت ہے، اور اس کے لیے لاگ فائلوں اور ٹرمینل کے سوا کچھ نہیں چاہیے۔ نیچے کی مثالیں combined لاگ فارمیٹ استعمال کرتی ہیں جو nginx اور Apache میں پہلے سے سیٹ ہوتا ہے۔

اس صفحے پر
  1. access لاگ میں AI کرالر کا وزٹ کیسا دکھتا ہے؟
  2. AI کرالرز کے وزٹ کیسے گنوں؟
  3. ہر کرالر کو اصل میں کیا ملا؟
  4. کیسے تصدیق کروں کہ وزٹ واقعی OpenAI، Anthropic یا Perplexity سے آیا؟
  5. Googlebot، Applebot اور CCBot کی تصدیق کیسے کروں؟
  6. جعلی AI کرالرز کیسے دکھتے ہیں؟
  7. لاگز آپ کو کیا نہیں بتا سکتے؟

access لاگ میں AI کرالر کا وزٹ کیسا دکھتا ہے؟

combined فارمیٹ میں ہر لائن میں کلائنٹ IP، وقت، درخواست کی لائن، اسٹیٹس کوڈ، جواب کا سائز، ریفرر اور یوزر ایجنٹ ہوتے ہیں۔ nginx اسے $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" کے طور پر بیان کرتا ہے، اور Apache کے combined فارمیٹ میں یہی فیلڈز ہیں۔ OpenAI کے ٹریننگ کرالر کا وزٹ کچھ یوں دکھتا ہے:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

جن ٹوکنز کو تلاش کرنا ہے وہ وہی ہیں جن کی کمپنیاں دستاویزات دیتی ہیں: GPTBot، OAI-SearchBot اور ChatGPT-User (OpenAI)؛ ClaudeBot، Claude-SearchBot اور Claude-User (Anthropic)؛ PerplexityBot اور Perplexity-User (Perplexity)؛ Googlebot، Applebot، meta-externalagent، meta-webindexer اور CCBot۔ آپ کو Google-Extended یا Applebot-Extended کبھی نظر نہیں آئیں گے۔ Google کہتا ہے کہ Google-Extended کی کوئی الگ یوزر ایجنٹ اسٹرنگ نہیں، اور Apple کہتا ہے کہ Applebot-Extended کرال نہیں کرتا؛ دونوں صرف robots.txt کے ٹوکن ہیں۔

AI کرالرز کے وزٹ کیسے گنوں؟

ہر لائن کو ڈبل کوٹ کے نشان پر تقسیم کرنے سے یوزر ایجنٹ فیلڈ 6 میں آ جاتا ہے۔ صرف اسی فیلڈ کو ملانے سے ان URLs سے غلط نتائج نہیں آتے جن میں اتفاقاً کسی بوٹ کا نام ہو۔ یہ موجودہ لاگ اور گھمائے گئے، کمپریس شدہ لاگز میں ہر کرالر کے وزٹ گنتا ہے:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache کے لیے پاتھ بدلیں، اکثر /var/log/apache2/access.log* یا /var/log/httpd/access_log*۔ zcat -f سادہ اور gzip دونوں فائلیں پڑھتا ہے۔ اگر کوئی متوقع کرالر غائب ہے تو یہ اکیلا بلاک کا ثبوت نہیں: ہو سکتا ہے وہ آپ کے لاگز کی مدت میں آیا ہی نہ ہو۔

ہر کرالر کو اصل میں کیا ملا؟

وزٹس سے زیادہ جوابات اہم ہیں۔ جس کرالر کو ہر درخواست پر 403 ملے وہ آیا تو سہی لیکن کچھ نہیں پڑھا۔ یہ کمانڈز اسٹیٹس کوڈ، سب سے زیادہ منگوائے گئے پاتھ اور یہ دکھاتی ہیں کہ کرالر نے robots.txt منگوایا یا نہیں:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

زیادہ تر 200 ہوں تو اچھا ہے۔ بہت سے 403 یا 429 فائر وال اصول یا rate limit کی طرف اشارہ کرتے ہیں۔ robots.txt پر 5xx جوابات سنگین ہیں: RFC 9309 کے تحت جس کرالر کو robots.txt کے لیے سرور کی خرابی ملے اسے پوری سائٹ ممنوع سمجھنی چاہیے۔

اگر آپ کی سائٹ CDN کے پیچھے ہے تو دو چیزیں بدل جاتی ہیں۔ جو درخواستیں CDN بلاک کرتا ہے وہ کبھی آپ کے origin تک نہیں پہنچتیں، اس لیے وہ اس کے لاگز میں بالکل نظر نہیں آتیں؛ اس کے بجائے CDN کے اپنے security events دیکھیں۔ اور جب تک آپ وزیٹر کا IP بحال نہ کریں، origin، CDN کا پتہ لاگ کرتا ہے۔ مثال کے طور پر Cloudflare اصل IP CF-Connecting-IP ہیڈر میں بھیجتا ہے اور پہلے سے Cloudflare کا IP لاگ ہوتا ہے۔

کیسے تصدیق کروں کہ وزٹ واقعی OpenAI، Anthropic یا Perplexity سے آیا؟

یہ کمپنیاں اپنے ایجنٹس کی IP رینجز شائع کرتی ہیں: OpenAI openai.com/gptbot.json، openai.com/searchbot.json اور openai.com/chatgpt-user.json پر؛ Anthropic claude.com/crawling/bots.json پر؛ Perplexity perplexity.ai/perplexitybot.json اور perplexity.ai/perplexity-user.json پر۔ Anthropic کہتا ہے کہ اگر ماخذ IP اس کی فہرست میں ہو تو کرالر Anthropic سے آ رہا ہے۔ ان تینوں میں سے کوئی reverse DNS تصدیق کی دستاویز نہیں دیتا، اس لیے فہرستیں استعمال کریں۔

تمام فائلوں کی ساخت ایک جیسی ہے، ipv4Prefix یا ipv6Prefix اندراجات کی prefixes فہرست، اس لیے ایک چھوٹا اسکرپٹ کسی بھی فہرست سے IP جانچ لیتا ہے:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

کسی کرالر کا دعویٰ کرنے والے IPs کی فہرست کے لیے لاگ پر awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' چلائیں اور اسے sort | uniq -c | sort -rn سے گزاریں۔ ہر ایک کو متعلقہ فہرست سے جانچیں۔ فہرستیں بدلتی رہتی ہیں، اس لیے پرانی کاپی رکھنے کے بجائے ہر بار تازہ منگوائیں۔

Googlebot، Applebot اور CCBot کی تصدیق کیسے کروں؟

Google، Apple اور Common Crawl، reverse اور forward DNS جانچ کی دستاویز دیتے ہیں۔ IP کا hostname معلوم کریں، اس کا ڈومین دیکھیں، پھر اس hostname کو تلاش کریں اور تصدیق کریں کہ وہ اسی IP کی طرف واپس اشارہ کرتا ہے:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google کے لیے hostname، کرالر کے لحاظ سے، googlebot.com، google.com یا googleusercontent.com پر ختم ہونا چاہیے؛ Google اپنی رینجز بھی شائع کرتا ہے، Googlebot کی common-crawlers.json میں۔ Apple کے لیے یہ applebot.apple.com میں ہونا چاہیے، رینجز applebot.json میں۔ Common Crawl کے لیے یہ crawl.commoncrawl.org کے تحت ہونا چاہیے، اور Common Crawl خبردار کرتا ہے کہ دوسرے کرالرز جھوٹا CCBot نام استعمال کرتے ہیں۔

جعلی AI کرالرز کیسے دکھتے ہیں؟

اسکریپرز اکثر فلٹرز سے بچنے کے لیے کسی مشہور کرالر کا یوزر ایجنٹ ادھار لیتے ہیں۔ عام نشانیاں:

الٹا مسئلہ بھی موجود ہے: جو کرالر عام براؤزر کا یوزر ایجنٹ استعمال کرے اسے لاگ لائن سے پہچانا ہی نہیں جا سکتا۔ 2025 میں Cloudflare نے کہا کہ اس نے Perplexity کو شائع شدہ رینجز سے باہر کے IPs سے غیر اعلانیہ، براؤزر جیسے یوزر ایجنٹس کے ساتھ کرال کرتے دیکھا؛ Perplexity نے اس بیان سے اختلاف کیا اور ٹریفک کا کچھ حصہ ایک تیسرے فریق کی سروس سے منسوب کیا۔ صرف لاگز ایسے معاملات طے نہیں کر سکتے، اسی لیے شائع شدہ IP رینجز سے تصدیق دونوں سمتوں میں اہم ہے۔

لاگز آپ کو کیا نہیں بتا سکتے؟

لاگز دکھاتے ہیں کہ آپ کے سرور تک کیا پہنچا۔ وہ یہ نہیں دکھاتے کہ آپ کے CDN نے origin سے پہلے کیا بلاک کیا، 200 لوٹانے والے صفحے میں متن تھا یا صرف اسکرپٹ کا ڈھانچہ، یا آج آنے پر کرالر کو اجازت ملے گی یا نہیں۔ یہ صرف اسی مدت کا احاطہ کرتے ہیں جو آپ محفوظ رکھتے ہیں، اور کم ٹریفک والی سائٹس پر AI کرالرز کم ہی آتے ہیں۔

AISeeWhy اکاؤنٹ میں آپ combined فارمیٹ کا access لاگ اپ لوڈ کر سکتے ہیں (سادہ یا .gz، 50 MB تک)؛ اس کا تجزیہ کر کے اسے ضائع کر دیا جاتا ہے، اور ہر AI کرالر کی درخواستیں ان کے اسٹیٹس کوڈز کے ساتھ گنی جاتی ہیں اور کمپنیوں کی شائع شدہ IP رینجز سے جانچی جاتی ہیں۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

مجھے اپنے لاگز میں Google-Extended کیوں نظر نہیں آتا؟

Google کہتا ہے کہ Google-Extended کی کوئی الگ یوزر ایجنٹ اسٹرنگ نہیں۔ کرالنگ Google کے موجودہ کرالرز کرتے ہیں، اور یہ ٹوکن صرف یہ کنٹرول کرتا ہے کہ مواد کیسے استعمال ہو سکتا ہے۔ یہی بات Applebot-Extended پر لاگو ہوتی ہے، جس کے بارے میں Apple کہتا ہے کہ وہ کرال نہیں کرتا۔

کیا میں اپنے لاگز کے یوزر ایجنٹ پر بھروسہ کر سکتا ہوں؟

نہیں۔ کوئی بھی کوئی بھی یوزر ایجنٹ بھیج سکتا ہے۔ اسے دعویٰ سمجھیں اور کمپنی کی شائع شدہ IP رینجز سے، یا Google، Apple اور Common Crawl کے لیے reverse اور forward DNS lookup سے اس کی تصدیق کریں۔

میرے لاگز میں کوئی AI کرالر وزٹ نہیں۔ کیا میں بلاک ہوں؟

ضروری نہیں۔ ہو سکتا ہے کرالر ابھی آیا نہ ہو، آپ کے CDN نے اسے origin سے پہلے بلاک کر دیا ہو، یا آپ کے لاگز صرف CDN کے IP پتے ریکارڈ کرتے ہوں۔ اپنے CDN کے security events دیکھیں اور ہر کرالر کے یوزر ایجنٹ سے صفحہ جانچیں۔

کیا ChatGPT-User کی ٹریفک کرالر ہے؟

OpenAI کہتا ہے کہ ChatGPT-User یوزر کے بعض اقدامات کے لیے استعمال ہوتا ہے اور خودکار طریقے سے ویب کرال کرنے میں استعمال نہیں ہوتا۔ اس کے وزٹ عام طور پر تب ہوتے ہیں جب کوئی شخص ChatGPT سے کسی صفحے کے بارے میں پوچھے، اس لیے یہ کم تعداد میں آتے ہیں۔

ماخذ

مزید مضامین