सर्व्हर लॉगमध्ये AI क्रॉलर कसे तपासावे
तुमच्या ॲक्सेस लॉगच्या युजर एजंट फील्डमध्ये GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot आणि PerplexityBot सारखे टोकन शोधा, मग त्यांना मिळालेले स्टेटस कोड पाहा. फक्त युजर एजंटवरून काहीही सिद्ध होत नाही, त्यामुळे प्रत्येक स्रोत IP कंपनीच्या प्रकाशित IP यादीशी तपासा, किंवा Google आणि Apple साठी reverse आणि forward DNS ने तपासा.
robots.txt सांगते की तुम्ही क्रॉलरना काय करायला सांगता. तुमचा ॲक्सेस लॉग दाखवतो की प्रत्यक्षात काय घडले: कोणते AI क्रॉलर आले, त्यांनी कोणती पेजेस मागितली, आणि तुमच्या सर्व्हरने काय उत्तर दिले. हा तुमच्याकडील सर्वात थेट पुरावा आहे, आणि त्यासाठी लॉग फायली आणि टर्मिनलशिवाय काहीही लागत नाही. खालील उदाहरणे nginx आणि Apache डीफॉल्टने वापरत असलेला combined लॉग फॉरमॅट वापरतात.
या पेजवर
ॲक्सेस लॉगमध्ये AI क्रॉलरची भेट कशी दिसते?
combined फॉरमॅटमध्ये प्रत्येक ओळीत क्लायंट IP, वेळ, विनंतीची ओळ, स्टेटस कोड, प्रतिसादाचा आकार, referrer आणि युजर एजंट असतो. nginx त्याची व्याख्या $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" अशी करते, आणि Apache च्या combined फॉरमॅटमध्ये हीच फील्ड असतात. OpenAI च्या ट्रेनिंग क्रॉलरची भेट अशी दिसते:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" शोधायचे टोकन तेच आहेत जे कंपन्यांनी दस्तऐवजात दिले आहेत: GPTBot, OAI-SearchBot आणि ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot आणि Claude-User (Anthropic); PerplexityBot आणि Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer आणि CCBot. तुम्हाला Google-Extended किंवा Applebot-Extended कधीच दिसणार नाहीत. Google सांगते की Google-Extended ची स्वतंत्र युजर एजंट स्ट्रिंग नाही, आणि Apple सांगते की Applebot-Extended क्रॉल करत नाही; दोन्ही फक्त robots.txt टोकन आहेत.
AI क्रॉलरच्या भेटी कशा मोजाव्यात?
प्रत्येक ओळ डबल कोट चिन्हावर विभागल्यास युजर एजंट फील्ड 6 मध्ये येतो. फक्त तेच फील्ड जुळवल्याने, ज्या URL मध्ये योगायोगाने बॉटचे नाव आहे त्यांच्यामुळे होणाऱ्या चुकीच्या जुळण्या टळतात. हे सध्याच्या लॉगमध्ये आणि रोटेट केलेल्या, कॉम्प्रेस केलेल्या लॉगमध्ये प्रत्येक क्रॉलरच्या भेटी मोजते:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Apache साठी पाथ बदला, बहुतेकदा /var/log/apache2/access.log* किंवा /var/log/httpd/access_log*. zcat -f साध्या आणि gzip केलेल्या दोन्ही फायली वाचतो. अपेक्षित क्रॉलर दिसत नसल्यास, एवढ्यावरून ब्लॉक सिद्ध होत नाही: तुमचे लॉग ज्या कालावधीचे आहेत त्यात त्याने भेटच दिली नसेल.
प्रत्येक क्रॉलरला प्रत्यक्षात काय मिळाले?
भेटींपेक्षा उत्तरे जास्त महत्त्वाची. प्रत्येक विनंतीला 403 मिळणाऱ्या क्रॉलरने भेट दिली, पण काहीच वाचले नाही. हे कमांड स्टेटस कोड, सर्वाधिक मागितलेले पाथ आणि क्रॉलरने robots.txt मिळवली का ते दाखवतात:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c बहुतांश 200 हेच तुम्हाला हवे आहे. अनेक 403 किंवा 429 म्हणजे फायरवॉल नियम किंवा rate limit. robots.txt वर 5xx उत्तरे गंभीर आहेत: RFC 9309 नुसार robots.txt साठी सर्व्हर एरर मिळालेल्या क्रॉलरने संपूर्ण साइट नाकारलेली मानली पाहिजे.
तुमची साइट CDN मागे असल्यास दोन गोष्टी बदलतात. CDN ने ब्लॉक केलेल्या विनंत्या तुमच्या origin पर्यंत पोहोचतच नाहीत, त्यामुळे त्या त्याच्या लॉगमध्ये अजिबात दिसत नाहीत; त्याऐवजी CDN चे स्वतःचे security events तपासा. आणि अभ्यागताचा IP पुनर्संचयित केल्याशिवाय origin CDN चा पत्ता लॉग करतो. उदाहरणार्थ, Cloudflare मूळ IP CF-Connecting-IP हेडरमध्ये पाठवते आणि डीफॉल्टने Cloudflare चा IP लॉग होतो.
भेट खरोखर OpenAI, Anthropic किंवा Perplexity कडून आली हे कसे पडताळावे?
या कंपन्या त्यांचे एजंट वापरत असलेल्या IP रेंज प्रकाशित करतात: OpenAI openai.com/gptbot.json, openai.com/searchbot.json आणि openai.com/chatgpt-user.json वर; Anthropic claude.com/crawling/bots.json वर; Perplexity perplexity.ai/perplexitybot.json आणि perplexity.ai/perplexity-user.json वर. Anthropic सांगते की त्याच्या यादीतील स्रोत IP म्हणजे क्रॉलर Anthropic कडून येत आहे. या तिघांपैकी कोणीही reverse DNS पडताळणीचे दस्तऐवज देत नाही, त्यामुळे याद्याच वापरा.
या फायलींची रचना एकच आहे, ipv4Prefix किंवा ipv6Prefix नोंदींची prefixes यादी, त्यामुळे एक छोटी स्क्रिप्ट कोणताही IP त्यांपैकी कोणत्याही यादीशी तपासते:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF एखाद्या क्रॉलरचा दावा करणारे IP सूचीबद्ध करण्यासाठी लॉगवर awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' चालवा आणि तो sort | uniq -c | sort -rn मधून पाठवा. प्रत्येक IP संबंधित यादीशी तपासा. याद्या बदलतात, त्यामुळे जुनी प्रत ठेवण्याऐवजी त्या प्रत्येक वेळी नव्याने मिळवा.
Googlebot, Applebot आणि CCBot ची पडताळणी कशी करावी?
Google, Apple आणि Common Crawl reverse आणि forward DNS तपासणीचे दस्तऐवज देतात. IP चे होस्टनेम शोधा, त्याचे डोमेन तपासा, मग ते होस्टनेम शोधा आणि ते त्याच IP कडे परत निर्देश करते याची खात्री करा:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Google साठी होस्टनेम क्रॉलरनुसार googlebot.com, google.com किंवा googleusercontent.com ने संपले पाहिजे; Google त्याच्या रेंजही प्रकाशित करते, Googlebot common-crawlers.json मध्ये. Apple साठी ते applebot.apple.com मध्ये असले पाहिजे, रेंज applebot.json मध्ये. Common Crawl साठी ते crawl.commoncrawl.org खाली असले पाहिजे, आणि Common Crawl इशारा देते की इतर क्रॉलर CCBot नावाचा खोटा दावा करतात.
बनावट AI क्रॉलर कसे दिसतात?
स्क्रेपर फिल्टर चुकवण्यासाठी अनेकदा एखाद्या सुप्रसिद्ध क्रॉलरचा युजर एजंट उसना घेतात. नेहमीची लक्षणे:
- युजर एजंट एखाद्या क्रॉलरचे नाव सांगतो, पण IP त्या कंपनीच्या प्रकाशित यादीत नाही, किंवा त्याचा reverse DNS जुळत नाही.
- स्रोत घरगुती नेटवर्क किंवा कंपनीच्या यादीत नसलेला क्लाउड प्रोव्हायडर आहे.
- क्लायंट कधीच robots.txt मागवत नाही, किंवा robots.txt त्या क्रॉलरसाठी नाकारत असलेले पाथ मागवतो.
- विनंत्यांचा वेग किंवा पॅटर्न त्याच नावाखालील पडताळलेल्या ट्रॅफिकपेक्षा खूप वेगळा आहे, उदाहरणार्थ सर्च किंवा लॉगिन एंडपॉइंटवर अचानक विनंत्यांचा भडिमार.
उलट समस्याही असते: सामान्य ब्राउझरचा युजर एजंट वापरणारा क्रॉलर लॉगच्या ओळीवरून अजिबात ओळखता येत नाही. 2025 मध्ये Cloudflare ने सांगितले की Perplexity प्रकाशित रेंजबाहेरील IP वरून अघोषित, ब्राउझरसारख्या युजर एजंटसह क्रॉल करताना आढळले; Perplexity ने हे वर्णन नाकारले आणि ट्रॅफिकचा काही भाग तृतीय-पक्ष सेवेचा असल्याचे सांगितले. अशी प्रकरणे फक्त लॉगवरून निकाली निघत नाहीत, म्हणूनच प्रकाशित IP रेंजने पडताळणी दोन्ही दिशांनी महत्त्वाची आहे.
लॉग तुम्हाला काय सांगू शकत नाहीत?
लॉग तुमच्या सर्व्हरपर्यंत काय पोहोचले ते दाखवतात. CDN ने origin च्या आधी काय ब्लॉक केले, 200 देणाऱ्या पेजमध्ये मजकूर होता की फक्त स्क्रिप्टचा साचा, किंवा क्रॉलर आज आला तर त्याला परवानगी मिळेल का, हे ते दाखवत नाहीत. ते फक्त तुम्ही ठेवलेल्या कालावधीचे असतात, आणि कमी ट्रॅफिकच्या साइटवर AI क्रॉलर क्वचितच येतात.
AISeeWhy खात्यात तुम्ही combined फॉरमॅटमधील ॲक्सेस लॉग अपलोड करू शकता (साधा किंवा .gz, 50 MB पर्यंत); त्याचे विश्लेषण करून तो काढून टाकला जातो, आणि प्रत्येक AI क्रॉलरच्या विनंत्या त्यांच्या स्टेटस कोडसह मोजल्या जातात व कंपन्यांनी प्रकाशित केलेल्या IP रेंजशी तपासल्या जातात.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
मला माझ्या लॉगमध्ये Google-Extended का दिसत नाही?
Google सांगते की Google-Extended ची स्वतंत्र युजर एजंट स्ट्रिंग नाही. क्रॉलिंग Google चे विद्यमान क्रॉलर करतात, आणि टोकन फक्त मजकूर कसा वापरता येईल ते नियंत्रित करते. हेच Applebot-Extended ला लागू होते, जो क्रॉल करत नाही असे Apple सांगते.
माझ्या लॉगमधील युजर एजंटवर विश्वास ठेवता येतो का?
नाही. कोणीही कोणताही युजर एजंट पाठवू शकतो. त्याला फक्त दावा माना आणि कंपनीच्या प्रकाशित IP रेंजने किंवा Google, Apple आणि Common Crawl साठी reverse आणि forward DNS lookup ने त्याची खात्री करा.
माझ्या लॉगमध्ये एकही AI क्रॉलर भेट नाही. मी ब्लॉक आहे का?
असे असेलच असे नाही. क्रॉलरने अजून भेट दिली नसेल, तुमच्या CDN ने त्याला origin आधीच ब्लॉक केले असेल, किंवा तुमचे लॉग फक्त CDN चे IP पत्ते नोंदवत असतील. तुमच्या CDN चे security events तपासा आणि प्रत्येक क्रॉलरच्या युजर एजंटसह पेजची चाचणी करा.
ChatGPT-User चा ट्रॅफिक क्रॉलर आहे का?
OpenAI सांगते की ChatGPT-User युजरच्या काही कृतींसाठी वापरला जातो आणि वेब आपोआप क्रॉल करण्यासाठी वापरला जात नाही. त्याच्या भेटी सहसा कोणी ChatGPT ला एखाद्या पेजबद्दल विचारल्यानंतर होतात, त्यामुळे त्या कमी संख्येने येतात.
स्रोत
- nginx: ngx_http_log_module (combined लॉग फॉरमॅट)
- Apache HTTP Server 2.4: लॉग फायली
- OpenAI: OpenAI क्रॉलरचे विहंगावलोकन
- Anthropic: Anthropic वेबवरून डेटा क्रॉल करते का, आणि साइट मालक क्रॉलर कसा ब्लॉक करू शकतात?
- Perplexity: Perplexity क्रॉलर
- Google: Google क्रॉलर आणि फेचरची पडताळणी
- Google: सामान्य क्रॉलर, Google-Extended सह
- Apple: Applebot बद्दल
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: अभ्यागतांचे मूळ IP पुनर्संचयित करणे
- Cloudflare: वेबसाइटचे no-crawl निर्देश टाळण्यासाठी Perplexity छुपे, अघोषित क्रॉलर वापरत आहे
- Perplexity: एजंट की बॉट? खुल्या वेबवरील AI समजून घेणे