ಸರ್ವರ್ ಲಾಗ್ಗಳಲ್ಲಿ AI ಕ್ರಾಲರ್ಗಳನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
ನಿಮ್ಮ access log ನ user agent ಕ್ಷೇತ್ರದಲ್ಲಿ GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot ಮತ್ತು PerplexityBot ನಂತಹ ಟೋಕನ್ಗಳನ್ನು ಹುಡುಕಿ, ನಂತರ ಅವುಗಳಿಗೆ ಸಿಕ್ಕ ಸ್ಥಿತಿ ಕೋಡ್ಗಳನ್ನು ನೋಡಿ. user agent ಮಾತ್ರ ಏನನ್ನೂ ಸಾಬೀತುಪಡಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಪ್ರತಿ ಮೂಲ IP ಯನ್ನು ಕಂಪನಿಯ ಪ್ರಕಟಿತ IP ಪಟ್ಟಿಯೊಂದಿಗೆ, ಅಥವಾ Google ಮತ್ತು Apple ಗೆ reverse ಮತ್ತು forward DNS ಮೂಲಕ ಪರಿಶೀಲಿಸಿ.
ಕ್ರಾಲರ್ಗಳು ಏನು ಮಾಡಬೇಕೆಂದು ನೀವು ಕೇಳುತ್ತೀರಿ ಎಂಬುದನ್ನು robots.txt ಹೇಳುತ್ತದೆ. ನಿಜವಾಗಿ ಏನಾಯಿತು ಎಂಬುದನ್ನು ನಿಮ್ಮ access log ತೋರಿಸುತ್ತದೆ: ಯಾವ AI ಕ್ರಾಲರ್ಗಳು ಬಂದವು, ಯಾವ ಪುಟಗಳನ್ನು ವಿನಂತಿಸಿದವು, ಮತ್ತು ನಿಮ್ಮ ಸರ್ವರ್ ಏನು ಉತ್ತರಿಸಿತು. ಇದು ನಿಮ್ಮಲ್ಲಿರುವ ಅತ್ಯಂತ ನೇರ ಪುರಾವೆ, ಮತ್ತು ಇದಕ್ಕೆ ಲಾಗ್ ಫೈಲ್ಗಳು ಮತ್ತು ಟರ್ಮಿನಲ್ ಹೊರತು ಬೇರೇನೂ ಬೇಕಿಲ್ಲ. ಕೆಳಗಿನ ಉದಾಹರಣೆಗಳು nginx ಮತ್ತು Apache ಡೀಫಾಲ್ಟ್ ಆಗಿ ಬಳಸುವ combined ಲಾಗ್ ಸ್ವರೂಪವನ್ನು ಬಳಸುತ್ತವೆ.
ಈ ಪುಟದಲ್ಲಿ
- access log ನಲ್ಲಿ AI ಕ್ರಾಲರ್ ಭೇಟಿ ಹೇಗೆ ಕಾಣುತ್ತದೆ?
- AI ಕ್ರಾಲರ್ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಎಣಿಸುವುದು?
- ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ನಿಜವಾಗಿ ಏನು ಸಿಕ್ಕಿತು?
- ಭೇಟಿ ನಿಜವಾಗಿಯೂ OpenAI, Anthropic ಅಥವಾ Perplexity ಯಿಂದ ಬಂದಿದೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
- Googlebot, Applebot ಮತ್ತು CCBot ಅನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
- ನಕಲಿ AI ಕ್ರಾಲರ್ಗಳು ಹೇಗೆ ಕಾಣುತ್ತವೆ?
- ಲಾಗ್ಗಳು ಏನನ್ನು ಹೇಳಲಾರವು?
access log ನಲ್ಲಿ AI ಕ್ರಾಲರ್ ಭೇಟಿ ಹೇಗೆ ಕಾಣುತ್ತದೆ?
combined ಸ್ವರೂಪದಲ್ಲಿ ಪ್ರತಿ ಸಾಲಿನಲ್ಲಿ ಕ್ಲೈಂಟ್ IP, ಸಮಯ, ವಿನಂತಿ ಸಾಲು, ಸ್ಥಿತಿ ಕೋಡ್, ಪ್ರತಿಕ್ರಿಯೆಯ ಗಾತ್ರ, referrer ಮತ್ತು user agent ಇರುತ್ತವೆ. nginx ಇದನ್ನು $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ಎಂದು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ, ಮತ್ತು Apache ನ combined ಸ್ವರೂಪದಲ್ಲೂ ಇದೇ ಕ್ಷೇತ್ರಗಳಿವೆ. OpenAI ನ ತರಬೇತಿ ಕ್ರಾಲರ್ನ ಭೇಟಿ ಹೀಗೆ ಕಾಣುತ್ತದೆ:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" ಹುಡುಕಬೇಕಾದ ಟೋಕನ್ಗಳು ಕಂಪನಿಗಳು ದಾಖಲಿಸಿರುವವು: GPTBot, OAI-SearchBot ಮತ್ತು ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot ಮತ್ತು Claude-User (Anthropic); PerplexityBot ಮತ್ತು Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer ಮತ್ತು CCBot. ನಿಮಗೆ Google-Extended ಅಥವಾ Applebot-Extended ಎಂದಿಗೂ ಕಾಣಿಸುವುದಿಲ್ಲ. Google-Extended ಗೆ ಪ್ರತ್ಯೇಕ user agent ಸ್ಟ್ರಿಂಗ್ ಇಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ, ಮತ್ತು Applebot-Extended ಕ್ರಾಲ್ ಮಾಡುವುದಿಲ್ಲ ಎಂದು Apple ಹೇಳುತ್ತದೆ; ಎರಡೂ ಕೇವಲ robots.txt ಟೋಕನ್ಗಳು.
AI ಕ್ರಾಲರ್ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಎಣಿಸುವುದು?
ಪ್ರತಿ ಸಾಲನ್ನು ಡಬಲ್ ಕೋಟ್ ಅಕ್ಷರದಲ್ಲಿ ವಿಭಜಿಸಿದರೆ user agent ಕ್ಷೇತ್ರ 6 ರಲ್ಲಿ ಬರುತ್ತದೆ. ಆ ಕ್ಷೇತ್ರವನ್ನು ಮಾತ್ರ ಹೊಂದಿಸುವುದರಿಂದ, ಆಕಸ್ಮಿಕವಾಗಿ ಬಾಟ್ನ ಹೆಸರಿರುವ URL ಗಳಿಂದ ತಪ್ಪು ಹೊಂದಾಣಿಕೆಗಳು ತಪ್ಪುತ್ತವೆ. ಇದು ಪ್ರಸ್ತುತ ಲಾಗ್ ಮತ್ತು rotate ಆಗಿ ಸಂಕುಚಿತಗೊಂಡ ಲಾಗ್ಗಳಾದ್ಯಂತ ಪ್ರತಿ ಕ್ರಾಲರ್ನ ಭೇಟಿಗಳನ್ನು ಎಣಿಸುತ್ತದೆ:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Apache ಗಾಗಿ ಪಥವನ್ನು ಹೊಂದಿಸಿ, ಸಾಮಾನ್ಯವಾಗಿ /var/log/apache2/access.log* ಅಥವಾ /var/log/httpd/access_log*. zcat -f ಸಾದಾ ಮತ್ತು gzip ಫೈಲ್ಗಳೆರಡನ್ನೂ ಓದುತ್ತದೆ. ನೀವು ನಿರೀಕ್ಷಿಸಿದ ಕ್ರಾಲರ್ ಕಾಣಿಸದಿದ್ದರೆ, ಅದೊಂದೇ ತಡೆಯ ಪುರಾವೆಯಲ್ಲ: ನಿಮ್ಮ ಲಾಗ್ಗಳು ಒಳಗೊಂಡ ಅವಧಿಯಲ್ಲಿ ಅದು ಭೇಟಿ ನೀಡದೇ ಇರಬಹುದು.
ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ನಿಜವಾಗಿ ಏನು ಸಿಕ್ಕಿತು?
ಭೇಟಿಗಳಿಗಿಂತ ಉತ್ತರಗಳು ಮುಖ್ಯ. ಪ್ರತಿ ವಿನಂತಿಗೂ 403 ಪಡೆಯುವ ಕ್ರಾಲರ್ ಭೇಟಿ ನೀಡಿದೆ, ಆದರೆ ಏನನ್ನೂ ಓದಿಲ್ಲ. ಈ ಆಜ್ಞೆಗಳು ಸ್ಥಿತಿ ಕೋಡ್ಗಳು, ಹೆಚ್ಚು ವಿನಂತಿಸಿದ ಪಥಗಳು ಮತ್ತು ಕ್ರಾಲರ್ robots.txt ಪಡೆಯಿತೇ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತವೆ:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c ಹೆಚ್ಚಾಗಿ 200 ಗಳೇ ಇರಬೇಕು. ಅನೇಕ 403 ಅಥವಾ 429 ಗಳು ಫೈರ್ವಾಲ್ ನಿಯಮ ಅಥವಾ rate limit ಕಡೆಗೆ ಬೆರಳು ಮಾಡುತ್ತವೆ. robots.txt ಮೇಲೆ 5xx ಉತ್ತರಗಳು ಗಂಭೀರ: RFC 9309 ಪ್ರಕಾರ robots.txt ಗೆ ಸರ್ವರ್ ದೋಷ ಪಡೆಯುವ ಕ್ರಾಲರ್ ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಭಾವಿಸಬೇಕು.
ನಿಮ್ಮ ಸೈಟ್ CDN ಹಿಂದೆ ಇದ್ದರೆ, ಎರಡು ವಿಷಯಗಳು ಬದಲಾಗುತ್ತವೆ. CDN ತಡೆಯುವ ವಿನಂತಿಗಳು ನಿಮ್ಮ origin ಸರ್ವರ್ ಅನ್ನು ತಲುಪುವುದೇ ಇಲ್ಲ, ಆದ್ದರಿಂದ ಅವು ಅದರ ಲಾಗ್ಗಳಲ್ಲಿ ಕಾಣಿಸುವುದೇ ಇಲ್ಲ; ಬದಲಿಗೆ CDN ನ ಸ್ವಂತ ಭದ್ರತಾ ಘಟನೆಗಳನ್ನು ಪರಿಶೀಲಿಸಿ. ಮತ್ತು ನೀವು ಸಂದರ್ಶಕರ IP ಯನ್ನು ಮರುಸ್ಥಾಪಿಸದಿದ್ದರೆ, origin CDN ನ ವಿಳಾಸವನ್ನು ದಾಖಲಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, Cloudflare ಮೂಲ IP ಯನ್ನು CF-Connecting-IP ಹೆಡರ್ನಲ್ಲಿ ಕಳುಹಿಸುತ್ತದೆ ಮತ್ತು ಡೀಫಾಲ್ಟ್ ಆಗಿ Cloudflare IP ದಾಖಲಾಗುತ್ತದೆ.
ಭೇಟಿ ನಿಜವಾಗಿಯೂ OpenAI, Anthropic ಅಥವಾ Perplexity ಯಿಂದ ಬಂದಿದೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಈ ಕಂಪನಿಗಳು ತಮ್ಮ ಏಜೆಂಟ್ಗಳು ಬಳಸುವ IP ಶ್ರೇಣಿಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತವೆ: OpenAI openai.com/gptbot.json, openai.com/searchbot.json ಮತ್ತು openai.com/chatgpt-user.json ನಲ್ಲಿ; Anthropic claude.com/crawling/bots.json ನಲ್ಲಿ; Perplexity perplexity.ai/perplexitybot.json ಮತ್ತು perplexity.ai/perplexity-user.json ನಲ್ಲಿ. ಮೂಲ IP ತನ್ನ ಪಟ್ಟಿಯಲ್ಲಿದ್ದರೆ ಕ್ರಾಲರ್ Anthropic ನಿಂದ ಬರುತ್ತಿದೆ ಎಂದರ್ಥ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. ಈ ಮೂರರಲ್ಲಿ ಯಾವುದೂ reverse DNS ಪರಿಶೀಲನೆಯನ್ನು ದಾಖಲಿಸಿಲ್ಲ, ಆದ್ದರಿಂದ ಪಟ್ಟಿಗಳನ್ನು ಬಳಸಿ.
ಈ ಫೈಲ್ಗಳ ರಚನೆ ಒಂದೇ, ipv4Prefix ಅಥವಾ ipv6Prefix ನಮೂದುಗಳಿರುವ prefixes ಪಟ್ಟಿ, ಆದ್ದರಿಂದ ಒಂದು ಸಣ್ಣ ಸ್ಕ್ರಿಪ್ಟ್ IP ಯನ್ನು ಇವುಗಳಲ್ಲಿ ಯಾವುದರೊಂದಿಗಾದರೂ ಪರಿಶೀಲಿಸುತ್ತದೆ:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF ಒಂದು ನಿರ್ದಿಷ್ಟ ಕ್ರಾಲರ್ ಎಂದು ಹೇಳಿಕೊಂಡ IP ಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಲು, ಲಾಗ್ ಮೇಲೆ awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' ಚಲಾಯಿಸಿ ಮತ್ತು ಅದನ್ನು sort | uniq -c | sort -rn ಮೂಲಕ ಹಾಯಿಸಿ. ಪ್ರತಿಯೊಂದನ್ನೂ ಹೊಂದುವ ಪಟ್ಟಿಯೊಂದಿಗೆ ಪರಿಶೀಲಿಸಿ. ಪಟ್ಟಿಗಳು ಬದಲಾಗುತ್ತವೆ, ಆದ್ದರಿಂದ ಹಳೆಯ ಪ್ರತಿ ಇಟ್ಟುಕೊಳ್ಳುವ ಬದಲು ಪ್ರತಿ ಬಾರಿ ಹೊಸದಾಗಿ ಪಡೆಯಿರಿ.
Googlebot, Applebot ಮತ್ತು CCBot ಅನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
Google, Apple ಮತ್ತು Common Crawl reverse ಮತ್ತು forward DNS ಪರಿಶೀಲನೆಯನ್ನು ದಾಖಲಿಸಿವೆ. IP ಯ hostname ಹುಡುಕಿ, ಅದರ ಡೊಮೇನ್ ಪರಿಶೀಲಿಸಿ, ನಂತರ ಆ hostname ಅನ್ನು ಹುಡುಕಿ ಅದು ಅದೇ IP ಗೆ ಮರಳಿ ಸೂಚಿಸುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Google ಗೆ hostname ಕ್ರಾಲರ್ಗೆ ಅನುಗುಣವಾಗಿ googlebot.com, google.com ಅಥವಾ googleusercontent.com ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳಬೇಕು; Google ತನ್ನ ಶ್ರೇಣಿಗಳನ್ನೂ ಪ್ರಕಟಿಸುತ್ತದೆ, Googlebot ಗಾಗಿ common-crawlers.json ನಲ್ಲಿ. Apple ಗೆ ಅದು applebot.apple.com ನಲ್ಲಿರಬೇಕು, ಶ್ರೇಣಿಗಳು applebot.json ನಲ್ಲಿ. Common Crawl ಗೆ ಅದು crawl.commoncrawl.org ಅಡಿಯಲ್ಲಿರಬೇಕು, ಮತ್ತು ಇತರ ಕ್ರಾಲರ್ಗಳು CCBot ಹೆಸರನ್ನು ಸುಳ್ಳಾಗಿ ಬಳಸುತ್ತವೆ ಎಂದು Common Crawl ಎಚ್ಚರಿಸುತ್ತದೆ.
ನಕಲಿ AI ಕ್ರಾಲರ್ಗಳು ಹೇಗೆ ಕಾಣುತ್ತವೆ?
ಫಿಲ್ಟರ್ಗಳನ್ನು ದಾಟಲು ಸ್ಕ್ರೇಪರ್ಗಳು ಹೆಚ್ಚಾಗಿ ಪ್ರಸಿದ್ಧ ಕ್ರಾಲರ್ನ user agent ಅನ್ನು ಎರವಲು ಪಡೆಯುತ್ತವೆ. ಸಾಮಾನ್ಯ ಲಕ್ಷಣಗಳು:
- user agent ಒಂದು ಕ್ರಾಲರ್ನ ಹೆಸರು ಹೇಳುತ್ತದೆ, ಆದರೆ IP ಆ ಕಂಪನಿಯ ಪ್ರಕಟಿತ ಪಟ್ಟಿಯಲ್ಲಿಲ್ಲ, ಅಥವಾ ಅದರ reverse DNS ಹೊಂದುವುದಿಲ್ಲ.
- ಮೂಲವು ಮನೆಯ (residential) ನೆಟ್ವರ್ಕ್ ಅಥವಾ ಕಂಪನಿ ಪಟ್ಟಿ ಮಾಡದ ಕ್ಲೌಡ್ ಪೂರೈಕೆದಾರ.
- ಕ್ಲೈಂಟ್ ಎಂದಿಗೂ robots.txt ವಿನಂತಿಸುವುದಿಲ್ಲ, ಅಥವಾ ಆ ಕ್ರಾಲರ್ಗೆ robots.txt ನಿಷೇಧಿಸಿರುವ ಪಥಗಳನ್ನು ವಿನಂತಿಸುತ್ತದೆ.
- ವಿನಂತಿಗಳ ದರ ಅಥವಾ ಮಾದರಿ ಅದೇ ಹೆಸರಿನ ಪರಿಶೀಲಿತ ಟ್ರಾಫಿಕ್ಗಿಂತ ತೀವ್ರವಾಗಿ ಭಿನ್ನವಾಗಿರುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಹುಡುಕಾಟ ಅಥವಾ ಲಾಗಿನ್ endpoint ಗಳ ಮೇಲೆ ಹಠಾತ್ ಸುರಿಮಳೆ.
ವಿರುದ್ಧ ಸಮಸ್ಯೆಯೂ ಇದೆ: ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ user agent ಬಳಸುವ ಕ್ರಾಲರ್ ಅನ್ನು ಲಾಗ್ ಸಾಲಿನಿಂದ ಗುರುತಿಸಲು ಸಾಧ್ಯವೇ ಇಲ್ಲ. 2025 ರಲ್ಲಿ, Perplexity ತನ್ನ ಪ್ರಕಟಿತ ಶ್ರೇಣಿಗಳ ಹೊರಗಿನ IP ಗಳಿಂದ ಘೋಷಿಸದ, ಬ್ರೌಸರ್ನಂತಹ user agent ಗಳೊಂದಿಗೆ ಕ್ರಾಲ್ ಮಾಡುತ್ತಿರುವುದನ್ನು ಗಮನಿಸಿರುವುದಾಗಿ Cloudflare ಹೇಳಿತು; Perplexity ಆ ವಿವರಣೆಯನ್ನು ಅಲ್ಲಗಳೆದು ಟ್ರಾಫಿಕ್ನ ಒಂದು ಭಾಗವನ್ನು ಮೂರನೇ ವ್ಯಕ್ತಿಯ ಸೇವೆಗೆ ಆರೋಪಿಸಿತು. ಇಂಥ ಪ್ರಕರಣಗಳನ್ನು ಲಾಗ್ಗಳು ಮಾತ್ರ ಬಗೆಹರಿಸಲಾರವು, ಅದಕ್ಕಾಗಿಯೇ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳ ಮೂಲಕ ಪರಿಶೀಲನೆ ಎರಡೂ ದಿಕ್ಕುಗಳಲ್ಲಿ ಮುಖ್ಯ.
ಲಾಗ್ಗಳು ಏನನ್ನು ಹೇಳಲಾರವು?
ನಿಮ್ಮ ಸರ್ವರ್ ತಲುಪಿದ್ದನ್ನು ಲಾಗ್ಗಳು ತೋರಿಸುತ್ತವೆ. origin ಗೆ ಮೊದಲು ನಿಮ್ಮ CDN ಏನನ್ನು ತಡೆಯಿತು, 200 ನೀಡಿದ ಪುಟದಲ್ಲಿ ಪಠ್ಯವಿತ್ತೇ ಅಥವಾ ಕೇವಲ ಸ್ಕ್ರಿಪ್ಟ್ ಚಿಪ್ಪಿತ್ತೇ, ಅಥವಾ ಕ್ರಾಲರ್ ಇಂದು ಬಂದರೆ ಅನುಮತಿ ಸಿಗುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಅವು ತೋರಿಸುವುದಿಲ್ಲ. ಅವು ನೀವು ಇಟ್ಟುಕೊಳ್ಳುವ ಅವಧಿಯನ್ನು ಮಾತ್ರ ಒಳಗೊಳ್ಳುತ್ತವೆ, ಮತ್ತು ಕಡಿಮೆ ಟ್ರಾಫಿಕ್ ಇರುವ ಸೈಟ್ಗಳಿಗೆ AI ಕ್ರಾಲರ್ಗಳು ಅಪರೂಪವಾಗಿ ಬರಬಹುದು.
AISeeWhy ಖಾತೆಯಲ್ಲಿ ನೀವು combined ಸ್ವರೂಪದ access log ಅನ್ನು ಅಪ್ಲೋಡ್ ಮಾಡಬಹುದು (ಸಾದಾ ಅಥವಾ .gz, 50 MB ವರೆಗೆ); ಅದನ್ನು ವಿಶ್ಲೇಷಿಸಿ ತ್ಯಜಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಪ್ರತಿ AI ಕ್ರಾಲರ್ನ ವಿನಂತಿಗಳನ್ನು ಅವುಗಳ ಸ್ಥಿತಿ ಕೋಡ್ಗಳೊಂದಿಗೆ ಎಣಿಸಿ, ಕಂಪನಿಗಳು ಪ್ರಕಟಿಸುವ IP ಶ್ರೇಣಿಗಳೊಂದಿಗೆ ಪರಿಶೀಲಿಸಲಾಗುತ್ತದೆ.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ನನ್ನ ಲಾಗ್ಗಳಲ್ಲಿ Google-Extended ಏಕೆ ಕಾಣಿಸುವುದಿಲ್ಲ?
Google-Extended ಗೆ ಪ್ರತ್ಯೇಕ user agent ಸ್ಟ್ರಿಂಗ್ ಇಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ. ಕ್ರಾಲಿಂಗ್ ಅನ್ನು Google ನ ಈಗಿರುವ ಕ್ರಾಲರ್ಗಳೇ ಮಾಡುತ್ತವೆ, ಮತ್ತು ಟೋಕನ್ ವಿಷಯವನ್ನು ಹೇಗೆ ಬಳಸಬಹುದು ಎಂಬುದನ್ನು ಮಾತ್ರ ನಿಯಂತ್ರಿಸುತ್ತದೆ. Applebot-Extended ಗೂ ಇದೇ ಅನ್ವಯಿಸುತ್ತದೆ, ಅದು ಕ್ರಾಲ್ ಮಾಡುವುದಿಲ್ಲ ಎಂದು Apple ಹೇಳುತ್ತದೆ.
ನನ್ನ ಲಾಗ್ಗಳಲ್ಲಿನ user agent ಅನ್ನು ನಂಬಬಹುದೇ?
ಇಲ್ಲ. ಯಾರು ಬೇಕಾದರೂ ಯಾವುದೇ user agent ಕಳುಹಿಸಬಹುದು. ಅದನ್ನು ಒಂದು ಹೇಳಿಕೆಯಾಗಿ ಪರಿಗಣಿಸಿ, ಮತ್ತು ಕಂಪನಿಯ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳ ಮೂಲಕ, ಅಥವಾ Google, Apple ಮತ್ತು Common Crawl ಗೆ reverse ಮತ್ತು forward DNS ಹುಡುಕಾಟದ ಮೂಲಕ ಖಚಿತಪಡಿಸಿ.
ನನ್ನ ಲಾಗ್ಗಳಲ್ಲಿ ಯಾವ AI ಕ್ರಾಲರ್ ಭೇಟಿಯೂ ಇಲ್ಲ. ನನ್ನನ್ನು ತಡೆಯಲಾಗಿದೆಯೇ?
ಅಗತ್ಯವಾಗಿ ಅಲ್ಲ. ಕ್ರಾಲರ್ ಇನ್ನೂ ಭೇಟಿ ನೀಡಿಲ್ಲದಿರಬಹುದು, ನಿಮ್ಮ CDN ಅದನ್ನು origin ಗೆ ಮೊದಲೇ ತಡೆದಿರಬಹುದು, ಅಥವಾ ನಿಮ್ಮ ಲಾಗ್ಗಳು CDN ನ IP ವಿಳಾಸಗಳನ್ನು ಮಾತ್ರ ದಾಖಲಿಸುತ್ತಿರಬಹುದು. ನಿಮ್ಮ CDN ನ ಭದ್ರತಾ ಘಟನೆಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಪ್ರತಿ ಕ್ರಾಲರ್ನ user agent ನೊಂದಿಗೆ ಪುಟವನ್ನು ಪರೀಕ್ಷಿಸಿ.
ChatGPT-User ಟ್ರಾಫಿಕ್ ಕ್ರಾಲರ್ ಆಗಿದೆಯೇ?
ChatGPT-User ಅನ್ನು ಕೆಲವು ಬಳಕೆದಾರ ಕ್ರಿಯೆಗಳಿಗೆ ಬಳಸಲಾಗುತ್ತದೆ ಮತ್ತು ವೆಬ್ ಅನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕ್ರಾಲ್ ಮಾಡಲು ಬಳಸುವುದಿಲ್ಲ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. ಅದರ ಭೇಟಿಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಯಾರಾದರೂ ChatGPT ಗೆ ಒಂದು ಪುಟದ ಬಗ್ಗೆ ಕೇಳಿದ ನಂತರ ಬರುತ್ತವೆ, ಆದ್ದರಿಂದ ಅವು ಕಡಿಮೆ ಸಂಖ್ಯೆಯಲ್ಲಿರುತ್ತವೆ.
ಮೂಲಗಳು
- nginx: ngx_http_log_module (combined ಲಾಗ್ ಸ್ವರೂಪ)
- Apache HTTP Server 2.4: ಲಾಗ್ ಫೈಲ್ಗಳು
- OpenAI: OpenAI ಕ್ರಾಲರ್ಗಳ ಅವಲೋಕನ
- Anthropic: Anthropic ವೆಬ್ನಿಂದ ಡೇಟಾ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆಯೇ, ಮತ್ತು ಸೈಟ್ ಮಾಲೀಕರು ಕ್ರಾಲರ್ ಅನ್ನು ಹೇಗೆ ತಡೆಯಬಹುದು?
- Perplexity: Perplexity ಕ್ರಾಲರ್ಗಳು
- Google: Google ಕ್ರಾಲರ್ಗಳು ಮತ್ತು ಫೆಚರ್ಗಳನ್ನು ಪರಿಶೀಲಿಸುವುದು
- Google: ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳು, Google-Extended ಸೇರಿದಂತೆ
- Apple: Applebot ಕುರಿತು
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: ಸಂದರ್ಶಕರ ಮೂಲ IP ಗಳನ್ನು ಮರುಸ್ಥಾಪಿಸುವುದು
- Cloudflare: ವೆಬ್ಸೈಟ್ಗಳ no-crawl ನಿರ್ದೇಶನಗಳನ್ನು ತಪ್ಪಿಸಲು Perplexity ಗುಪ್ತ, ಘೋಷಿಸದ ಕ್ರಾಲರ್ಗಳನ್ನು ಬಳಸುತ್ತಿದೆ
- Perplexity: ಏಜೆಂಟ್ಗಳೋ ಬಾಟ್ಗಳೋ? ಮುಕ್ತ ವೆಬ್ನಲ್ಲಿ AI ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು