सर्भर लगमा AI क्रलर कसरी जाँच्ने

प्रकाशित

छोटो उत्तर

आफ्नो access log को user agent फिल्डमा GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot र PerplexityBot जस्ता टोकन खोज्नुहोस्, त्यसपछि तिनले पाएका स्थिति कोड हेर्नुहोस्। user agent एक्लैले केही प्रमाणित गर्दैन, त्यसैले हरेक स्रोत IP लाई कम्पनीले प्रकाशित गरेको IP सूचीसँग, वा Google र Apple का लागि reverse र forward DNS बाट जाँच्नुहोस्।

robots.txt ले तपाईं क्रलरलाई के गर्न अनुरोध गर्नुहुन्छ भन्छ। access log ले वास्तवमा के भयो देखाउँछ: कुन AI क्रलर आए, तिनले कुन पेज मागे, र तपाईंको सर्भरले के जवाफ दियो। यो तपाईंसँग भएको सबैभन्दा प्रत्यक्ष प्रमाण हो, र यसका लागि लग फाइल र टर्मिनलबाहेक केही चाहिँदैन। तलका उदाहरणले nginx र Apache ले पूर्वनिर्धारित रूपमा प्रयोग गर्ने combined log format प्रयोग गर्छन्।

यस पेजमा
  1. access log मा AI क्रलरको भ्रमण कस्तो देखिन्छ?
  2. AI क्रलरका भ्रमण कसरी गन्ने?
  3. हरेक क्रलरले वास्तवमा के पायो?
  4. भ्रमण साँच्चै OpenAI, Anthropic वा Perplexity बाटै आयो भनेर कसरी प्रमाणित गर्ने?
  5. Googlebot, Applebot र CCBot कसरी प्रमाणित गर्ने?
  6. नक्कली AI क्रलर कस्ता देखिन्छन्?
  7. लगले के बताउन सक्दैन?

access log मा AI क्रलरको भ्रमण कस्तो देखिन्छ?

combined format मा हरेक लाइनमा क्लाइन्ट IP, समय, अनुरोध लाइन, स्थिति कोड, प्रतिक्रियाको आकार, referrer र user agent हुन्छन्। nginx ले यसलाई $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" भनेर परिभाषित गर्छ, र Apache को combined format मा पनि उही फिल्ड छन्। OpenAI को ट्रेनिङ क्रलरको भ्रमण यस्तो देखिन्छ:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

खोज्नुपर्ने टोकन कम्पनीहरूले कागजातमा दिएका हुन्: GPTBot, OAI-SearchBot र ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot र Claude-User (Anthropic); PerplexityBot र Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer र CCBot। तपाईंले Google-Extended वा Applebot-Extended कहिल्यै देख्नुहुने छैन। Google भन्छ Google-Extended को छुट्टै user agent string छैन, र Apple भन्छ Applebot-Extended ले क्रल गर्दैन; दुवै robots.txt टोकन मात्र हुन्।

AI क्रलरका भ्रमण कसरी गन्ने?

हरेक लाइनलाई double quote चिह्नमा टुक्र्याउँदा user agent फिल्ड 6 मा पर्छ। त्यो फिल्ड मात्र मिलाउँदा संयोगवश बटको नाम भएका URL बाट गलत मेल हुँदैन। यसले हालको लग र rotate भएका, कम्प्रेस गरिएका लगमा प्रति क्रलर भ्रमण गन्छ:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache का लागि path मिलाउनुहोस्, प्रायः /var/log/apache2/access.log* वा /var/log/httpd/access_log*। zcat -f ले सामान्य र gzip गरिएका दुवै फाइल पढ्छ। अपेक्षा गरेको क्रलर देखिँदैन भने त्यो एक्लैले ब्लकको प्रमाण होइन: तपाईंका लगले समेटेको अवधिमा त्यो आएकै नहुन सक्छ।

हरेक क्रलरले वास्तवमा के पायो?

भ्रमणभन्दा जवाफ बढी महत्त्वपूर्ण हुन्छ। हरेक अनुरोधमा 403 पाउने क्रलर आयो, तर केही पढेन। यी कमान्डले स्थिति कोड, सबैभन्दा धेरै मागिएका path र क्रलरले robots.txt ल्यायो कि ल्याएन देखाउँछन्:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

तपाईंलाई चाहिने धेरैजसो 200 हो। धेरै 403 वा 429 ले फायरवाल नियम वा rate limit तर्फ सङ्केत गर्छन्। robots.txt मा 5xx जवाफ गम्भीर हुन्: RFC 9309 अनुसार robots.txt का लागि सर्भर त्रुटि पाउने क्रलरले पूरै साइट निषेधित मान्नुपर्छ।

तपाईंको साइट CDN पछाडि छ भने दुई कुरा बदलिन्छन्। CDN ले ब्लक गरेका अनुरोध तपाईंको origin सम्म पुग्दैनन्, त्यसैले तिनको लगमा देखिँदैनन्; त्यसको सट्टा CDN कै security events हेर्नुहोस्। र आगन्तुकको IP पुनर्स्थापित नगरेसम्म origin ले CDN को ठेगाना लग गर्छ। उदाहरणका लागि Cloudflare ले मूल IP CF-Connecting-IP हेडरमा पठाउँछ र पूर्वनिर्धारित रूपमा Cloudflare को IP लग हुन्छ।

भ्रमण साँच्चै OpenAI, Anthropic वा Perplexity बाटै आयो भनेर कसरी प्रमाणित गर्ने?

यी कम्पनीले आफ्ना एजेन्टले प्रयोग गर्ने IP दायरा प्रकाशित गर्छन्: OpenAI openai.com/gptbot.json, openai.com/searchbot.json र openai.com/chatgpt-user.json मा; Anthropic claude.com/crawling/bots.json मा; Perplexity perplexity.ai/perplexitybot.json र perplexity.ai/perplexity-user.json मा। Anthropic भन्छ, स्रोत IP यसको सूचीमा छ भने क्रलर Anthropic बाटै आएको हो। यी तीनमध्ये कसैले reverse DNS प्रमाणीकरणको कागजात दिँदैन, त्यसैले सूची प्रयोग गर्नुहोस्।

फाइलहरूको ढाँचा एउटै छ, ipv4Prefix वा ipv6Prefix प्रविष्टि भएको prefixes सूची, त्यसैले एउटा सानो स्क्रिप्टले कुनै पनि सूचीसँग IP जाँच्छ:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

कुनै क्रलर भएको दाबी गर्ने IP सूचीबद्ध गर्न लगमा awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' चलाउनुहोस् र त्यसलाई sort | uniq -c | sort -rn मा pipe गर्नुहोस्। हरेकलाई मिल्दो सूचीसँग जाँच्नुहोस्। सूचीहरू बदलिन्छन्, त्यसैले पुरानो प्रति राख्नुभन्दा हरेकपटक नयाँ ल्याउनुहोस्।

Googlebot, Applebot र CCBot कसरी प्रमाणित गर्ने?

Google, Apple र Common Crawl ले reverse र forward DNS जाँचको कागजात दिन्छन्। IP को hostname हेर्नुहोस्, त्यसको डोमेन जाँच्नुहोस्, त्यसपछि त्यो hostname हेरेर त्यसले उही IP तर्फ फर्काउँछ भनी पक्का गर्नुहोस्:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google का लागि hostname क्रलरअनुसार googlebot.com, google.com वा googleusercontent.com मा अन्त्य हुनुपर्छ; Google ले आफ्ना दायरा पनि प्रकाशित गर्छ, Googlebot का common-crawlers.json मा। Apple का लागि यो applebot.apple.com मा हुनुपर्छ, दायरा applebot.json मा। Common Crawl का लागि यो crawl.commoncrawl.org अन्तर्गत हुनुपर्छ, र Common Crawl चेतावनी दिन्छ कि अन्य क्रलरले झुटो रूपमा CCBot नाम दाबी गर्छन्।

नक्कली AI क्रलर कस्ता देखिन्छन्?

स्क्र्यापरहरू फिल्टर छल्न प्रायः चिनिएको क्रलरको user agent सापट लिन्छन्। सामान्य सङ्केत:

उल्टो समस्या पनि हुन्छ: सामान्य ब्राउजरको user agent प्रयोग गर्ने क्रलरलाई लग लाइनबाट चिन्नै सकिँदैन। 2025 मा Cloudflare ले Perplexity ले प्रकाशित दायराबाहिरका IP बाट अघोषित, ब्राउजर जस्ता user agent सहित क्रल गरेको देखेको बतायो; Perplexity ले त्यो विवरणमा असहमति जनायो र ट्राफिकको केही भाग तेस्रो पक्षको सेवाको भनेर बतायो। यस्ता मामिला लगले मात्र टुङ्ग्याउन सक्दैन, त्यसैले प्रकाशित IP दायराबाट प्रमाणीकरण दुवैतर्फ महत्त्वपूर्ण छ।

लगले के बताउन सक्दैन?

लगले तपाईंको सर्भरसम्म के पुग्यो देखाउँछ। तपाईंको CDN ले origin अघि के ब्लक गर्यो, 200 फर्काएको पेजमा पाठ थियो कि स्क्रिप्टको खोल मात्र, वा क्रलर आज आए अनुमति पाउँथ्यो कि पाउँदैनथ्यो, यी देखाउँदैन। यसले तपाईंले राख्ने अवधि मात्र समेट्छ, र कम ट्राफिक भएका साइटमा AI क्रलर विरलै आउन सक्छन्।

AISeeWhy खातामा तपाईं combined format को access log (सामान्य वा .gz, 50 MB सम्म) अपलोड गर्न सक्नुहुन्छ; त्यसको विश्लेषण गरेर मेटाइन्छ, र हरेक AI क्रलरका अनुरोध तिनका स्थिति कोडसहित गनिन्छन् र कम्पनीहरूले प्रकाशित गरेका IP दायरासँग जाँचिन्छन्।

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

मेरो लगमा Google-Extended किन देखिँदैन?

Google भन्छ Google-Extended को छुट्टै user agent string छैन। क्रलिङ Google का अवस्थित क्रलरले गर्छन्, र टोकनले सामग्री कसरी प्रयोग गर्न सकिन्छ भन्ने मात्र नियन्त्रण गर्छ। Applebot-Extended मा पनि यही लागू हुन्छ, जसले Apple अनुसार क्रल गर्दैन।

के म लगमा भएको user agent मा भरोसा गर्न सक्छु?

सक्नुहुन्न। जोसुकैले जुनसुकै user agent पठाउन सक्छ। यसलाई दाबी मात्र मान्नुहोस् र कम्पनीको प्रकाशित IP दायरा, वा Google, Apple र Common Crawl का लागि reverse र forward DNS lookup बाट पक्का गर्नुहोस्।

मेरो लगमा कुनै AI क्रलरको भ्रमण छैन। के म ब्लक छु?

जरुरी छैन। क्रलर अहिलेसम्म नआएको हुन सक्छ, तपाईंको CDN ले origin अघि नै ब्लक गरेको हुन सक्छ, वा तपाईंका लगले CDN का IP ठेगाना मात्र रेकर्ड गर्छन्। आफ्नो CDN का security events हेर्नुहोस् र हरेक क्रलरको user agent सहित पेज परीक्षण गर्नुहोस्।

के ChatGPT-User को ट्राफिक क्रलर हो?

OpenAI भन्छ ChatGPT-User प्रयोगकर्ताका केही कार्यका लागि प्रयोग हुन्छ र वेबलाई स्वचालित रूपमा क्रल गर्न प्रयोग हुँदैन। यसका भ्रमण प्रायः कसैले ChatGPT लाई कुनै पेजबारे सोधेपछि हुन्छन्, त्यसैले सङ्ख्यामा थोरै हुन्छन्।

स्रोतहरू

थप लेखहरू