സെർവർ ലോഗുകളിൽ AI ക്രോളറുകളെ എങ്ങനെ പരിശോധിക്കാം

പ്രസിദ്ധീകരിച്ചത്

ചുരുക്കത്തിൽ

നിങ്ങളുടെ ആക്‌സസ് ലോഗിലെ യൂസർ ഏജന്റ് ഫീൽഡിൽ GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot പോലുള്ള ടോക്കണുകൾ തിരയുക, തുടർന്ന് അവയ്ക്ക് ലഭിച്ച സ്റ്റാറ്റസ് കോഡുകൾ നോക്കുക. യൂസർ ഏജന്റ് മാത്രം ഒന്നും തെളിയിക്കുന്നില്ല, അതിനാൽ ഓരോ ഉറവിട IP-യും കമ്പനി പ്രസിദ്ധീകരിച്ച IP പട്ടികയുമായി, അല്ലെങ്കിൽ Google, Apple എന്നിവയ്ക്ക് റിവേഴ്സ്, ഫോർവേഡ് DNS വഴി പരിശോധിക്കുക.

ക്രോളറുകളോട് എന്ത് ചെയ്യാൻ നിങ്ങൾ ആവശ്യപ്പെടുന്നു എന്ന് robots.txt പറയുന്നു. യഥാർത്ഥത്തിൽ എന്ത് സംഭവിച്ചുവെന്ന് നിങ്ങളുടെ ആക്‌സസ് ലോഗ് കാണിക്കുന്നു: ഏതൊക്കെ AI ക്രോളറുകൾ വന്നു, അവ ഏതൊക്കെ പേജുകൾ അഭ്യർത്ഥിച്ചു, നിങ്ങളുടെ സെർവർ എന്ത് മറുപടി നൽകി. നിങ്ങളുടെ പക്കലുള്ള ഏറ്റവും നേരിട്ടുള്ള തെളിവാണിത്, ലോഗ് ഫയലുകളും ഒരു ടെർമിനലും മാത്രം മതി. താഴെയുള്ള ഉദാഹരണങ്ങൾ nginx-ഉം Apache-ഉം സ്ഥിരസ്ഥിതിയായി ഉപയോഗിക്കുന്ന combined ലോഗ് ഫോർമാറ്റ് ഉപയോഗിക്കുന്നു.

ഈ പേജിൽ
  1. ആക്‌സസ് ലോഗിൽ ഒരു AI ക്രോളർ സന്ദർശനം എങ്ങനെയിരിക്കും?
  2. AI ക്രോളർ സന്ദർശനങ്ങൾ എങ്ങനെ എണ്ണാം?
  3. ഓരോ ക്രോളറിനും യഥാർത്ഥത്തിൽ എന്ത് ലഭിച്ചു?
  4. ഒരു സന്ദർശനം യഥാർത്ഥത്തിൽ OpenAI, Anthropic അല്ലെങ്കിൽ Perplexity-യിൽ നിന്നാണോ എന്ന് എങ്ങനെ സ്ഥിരീകരിക്കാം?
  5. Googlebot, Applebot, CCBot എന്നിവയെ എങ്ങനെ സ്ഥിരീകരിക്കാം?
  6. വ്യാജ AI ക്രോളറുകൾ എങ്ങനെയിരിക്കും?
  7. ലോഗുകൾക്ക് എന്ത് പറയാൻ കഴിയില്ല?

ആക്‌സസ് ലോഗിൽ ഒരു AI ക്രോളർ സന്ദർശനം എങ്ങനെയിരിക്കും?

combined ഫോർമാറ്റിൽ ഓരോ വരിയിലും ക്ലയന്റ് IP, സമയം, അഭ്യർത്ഥന വരി, സ്റ്റാറ്റസ് കോഡ്, മറുപടിയുടെ വലിപ്പം, റഫറർ, യൂസർ ഏജന്റ് എന്നിവയുണ്ട്. nginx ഇതിനെ $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" എന്ന് നിർവചിക്കുന്നു, Apache-ന്റെ combined ഫോർമാറ്റിലും ഇതേ ഫീൽഡുകളാണ്. OpenAI-യുടെ പരിശീലന ക്രോളറിന്റെ സന്ദർശനം ഇങ്ങനെയിരിക്കും:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

കമ്പനികൾ രേഖപ്പെടുത്തുന്ന ടോക്കണുകളാണ് തിരയേണ്ടത്: GPTBot, OAI-SearchBot, ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot, Claude-User (Anthropic); PerplexityBot, Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer, CCBot. Google-Extended-ഓ Applebot-Extended-ഓ നിങ്ങൾ ഒരിക്കലും കാണില്ല. Google-Extended-ന് പ്രത്യേക യൂസർ ഏജന്റ് സ്ട്രിംഗ് ഇല്ലെന്ന് Google-ഉം Applebot-Extended ക്രോൾ ചെയ്യുന്നില്ലെന്ന് Apple-ഉം പറയുന്നു; രണ്ടും robots.txt ടോക്കണുകൾ മാത്രമാണ്.

AI ക്രോളർ സന്ദർശനങ്ങൾ എങ്ങനെ എണ്ണാം?

ഓരോ വരിയും ഇരട്ട ഉദ്ധരണി ചിഹ്നത്തിൽ വിഭജിക്കുമ്പോൾ യൂസർ ഏജന്റ് ഫീൽഡ് 6-ൽ വരുന്നു. ആ ഫീൽഡ് മാത്രം ഒത്തുനോക്കുന്നത് ഒരു ബോട്ടിന്റെ പേര് യാദൃച്ഛികമായി അടങ്ങിയ URL-കളിൽ നിന്നുള്ള തെറ്റായ പൊരുത്തങ്ങൾ ഒഴിവാക്കുന്നു. നിലവിലെ ലോഗിലും റൊട്ടേറ്റ് ചെയ്ത് കംപ്രസ് ചെയ്ത ലോഗുകളിലും ഓരോ ക്രോളറിന്റെയും സന്ദർശനങ്ങൾ ഇത് എണ്ണുന്നു:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache-നായി പാത്ത് മാറ്റുക, സാധാരണയായി /var/log/apache2/access.log* അല്ലെങ്കിൽ /var/log/httpd/access_log*. zcat -f സാധാരണ ഫയലുകളും gzip ചെയ്ത ഫയലുകളും വായിക്കുന്നു. നിങ്ങൾ പ്രതീക്ഷിക്കുന്ന ഒരു ക്രോളർ കാണുന്നില്ലെങ്കിൽ, അത് മാത്രം തടയലിന്റെ തെളിവല്ല: നിങ്ങളുടെ ലോഗുകൾ ഉൾക്കൊള്ളുന്ന കാലയളവിൽ അത് സന്ദർശിച്ചിട്ടുണ്ടാകില്ല.

ഓരോ ക്രോളറിനും യഥാർത്ഥത്തിൽ എന്ത് ലഭിച്ചു?

സന്ദർശനങ്ങളേക്കാൾ പ്രധാനം മറുപടികളാണ്. എല്ലാ അഭ്യർത്ഥനയിലും 403 ലഭിക്കുന്ന ക്രോളർ സന്ദർശിച്ചിട്ടുണ്ട്, പക്ഷേ ഒന്നും വായിച്ചിട്ടില്ല. സ്റ്റാറ്റസ് കോഡുകളും ഏറ്റവും കൂടുതൽ അഭ്യർത്ഥിച്ച പാത്തുകളും ക്രോളർ robots.txt എടുത്തോ എന്നതും ഈ കമാൻഡുകൾ കാണിക്കുന്നു:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

കൂടുതലും 200-കളാണ് നിങ്ങൾക്ക് വേണ്ടത്. ധാരാളം 403-കളോ 429-കളോ ഒരു ഫയർവാൾ നിയമത്തിലേക്കോ നിരക്ക് പരിധിയിലേക്കോ വിരൽ ചൂണ്ടുന്നു. robots.txt-ലെ 5xx മറുപടികൾ ഗുരുതരമാണ്: RFC 9309 അനുസരിച്ച് robots.txt-ന് സെർവർ പിശക് ലഭിക്കുന്ന ക്രോളർ സൈറ്റ് മുഴുവൻ വിലക്കപ്പെട്ടതായി കണക്കാക്കണം.

നിങ്ങളുടെ സൈറ്റ് ഒരു CDN-ന് പിന്നിലാണെങ്കിൽ രണ്ട് കാര്യങ്ങൾ മാറുന്നു. CDN തടയുന്ന അഭ്യർത്ഥനകൾ ഒരിക്കലും നിങ്ങളുടെ ഒറിജിനിൽ എത്തുന്നില്ല, അതിനാൽ അവ അതിന്റെ ലോഗുകളിൽ കാണില്ല; പകരം CDN-ന്റെ സ്വന്തം സുരക്ഷാ ഇവന്റുകൾ പരിശോധിക്കുക. സന്ദർശകന്റെ IP പുനഃസ്ഥാപിക്കുന്നില്ലെങ്കിൽ, ഒറിജിൻ CDN-ന്റെ വിലാസമാണ് ലോഗ് ചെയ്യുന്നത്. ഉദാഹരണത്തിന്, Cloudflare യഥാർത്ഥ IP CF-Connecting-IP ഹെഡറിൽ അയയ്ക്കുന്നു, സ്ഥിരസ്ഥിതിയായി ഒരു Cloudflare IP ആണ് ലോഗ് ചെയ്യപ്പെടുന്നത്.

ഒരു സന്ദർശനം യഥാർത്ഥത്തിൽ OpenAI, Anthropic അല്ലെങ്കിൽ Perplexity-യിൽ നിന്നാണോ എന്ന് എങ്ങനെ സ്ഥിരീകരിക്കാം?

ഈ കമ്പനികൾ അവയുടെ ഏജന്റുകൾ ഉപയോഗിക്കുന്ന IP ശ്രേണികൾ പ്രസിദ്ധീകരിക്കുന്നു: OpenAI openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json എന്നിവയിൽ; Anthropic claude.com/crawling/bots.json-ൽ; Perplexity perplexity.ai/perplexitybot.json, perplexity.ai/perplexity-user.json എന്നിവയിൽ. തങ്ങളുടെ പട്ടികയിലുള്ള ഒരു ഉറവിട IP ക്രോളർ Anthropic-ൽ നിന്നാണ് വരുന്നതെന്ന് സൂചിപ്പിക്കുന്നുവെന്ന് Anthropic പറയുന്നു. ഈ മൂന്നിൽ ഒന്നും റിവേഴ്സ് DNS സ്ഥിരീകരണം രേഖപ്പെടുത്തുന്നില്ല, അതിനാൽ പട്ടികകൾ ഉപയോഗിക്കുക.

ഫയലുകൾക്കെല്ലാം ഒരേ ഘടനയാണ്, ipv4Prefix അല്ലെങ്കിൽ ipv6Prefix എൻട്രികളുള്ള ഒരു prefixes പട്ടിക. അതിനാൽ ഒരു ചെറിയ സ്ക്രിപ്റ്റ് ഉപയോഗിച്ച് ഏതിലും ഒരു IP പരിശോധിക്കാം:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

ഒരു പ്രത്യേക ക്രോളർ ആണെന്ന് അവകാശപ്പെട്ട IP-കളുടെ പട്ടികയ്ക്കായി ലോഗിൽ awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' പ്രവർത്തിപ്പിച്ച് sort | uniq -c | sort -rn വഴി കടത്തിവിടുക. ഓരോന്നും അനുയോജ്യമായ പട്ടികയുമായി പരിശോധിക്കുക. പട്ടികകൾ മാറുന്നതിനാൽ പഴയ പകർപ്പ് സൂക്ഷിക്കുന്നതിന് പകരം ഓരോ തവണയും പുതുതായി എടുക്കുക.

Googlebot, Applebot, CCBot എന്നിവയെ എങ്ങനെ സ്ഥിരീകരിക്കാം?

Google, Apple, Common Crawl എന്നിവ റിവേഴ്സ്, ഫോർവേഡ് DNS പരിശോധന രേഖപ്പെടുത്തുന്നു. IP-യുടെ ഹോസ്റ്റ്നെയിം കണ്ടെത്തുക, അതിന്റെ ഡൊമെയ്ൻ പരിശോധിക്കുക, തുടർന്ന് ആ ഹോസ്റ്റ്നെയിം തിരഞ്ഞ് അത് അതേ IP-യിലേക്ക് തിരികെ ചൂണ്ടുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google-ന്, ക്രോളറിനനുസരിച്ച് ഹോസ്റ്റ്നെയിം googlebot.com, google.com അല്ലെങ്കിൽ googleusercontent.com-ൽ അവസാനിക്കണം; Google അതിന്റെ ശ്രേണികളും പ്രസിദ്ധീകരിക്കുന്നു, Googlebot common-crawlers.json-ൽ. Apple-ന് അത് applebot.apple.com-ൽ ആയിരിക്കണം, ശ്രേണികൾ applebot.json-ൽ. Common Crawl-ന് അത് crawl.commoncrawl.org-ന് കീഴിലായിരിക്കണം; മറ്റ് ക്രോളറുകൾ CCBot എന്ന പേര് വ്യാജമായി അവകാശപ്പെടുന്നുവെന്ന് Common Crawl മുന്നറിയിപ്പ് നൽകുന്നു.

വ്യാജ AI ക്രോളറുകൾ എങ്ങനെയിരിക്കും?

ഫിൽട്ടറുകൾ കടക്കാൻ സ്ക്രേപ്പറുകൾ പലപ്പോഴും അറിയപ്പെടുന്ന ഒരു ക്രോളറിന്റെ യൂസർ ഏജന്റ് കടമെടുക്കുന്നു. സാധാരണ ലക്ഷണങ്ങൾ:

വിപരീത പ്രശ്നവും നിലവിലുണ്ട്: സാധാരണ ബ്രൗസർ യൂസർ ഏജന്റ് ഉപയോഗിക്കുന്ന ഒരു ക്രോളറിനെ ലോഗ് വരിയിൽ നിന്ന് തിരിച്ചറിയാനേ കഴിയില്ല. Perplexity അതിന്റെ പ്രസിദ്ധീകരിച്ച ശ്രേണികൾക്ക് പുറത്തുള്ള IP-കളിൽ നിന്ന്, പ്രഖ്യാപിക്കാത്ത, ബ്രൗസർ പോലുള്ള യൂസർ ഏജന്റുകൾ ഉപയോഗിച്ച് ക്രോൾ ചെയ്യുന്നത് നിരീക്ഷിച്ചതായി 2025-ൽ Cloudflare പറഞ്ഞു; Perplexity ആ വിവരണത്തെ എതിർക്കുകയും ട്രാഫിക്കിന്റെ ഒരു ഭാഗം ഒരു മൂന്നാം കക്ഷി സേവനത്തിന്റേതാണെന്ന് പറയുകയും ചെയ്തു. ഇത്തരം കേസുകൾ ലോഗുകൾ കൊണ്ട് മാത്രം തീർപ്പാക്കാനാകില്ല; അതുകൊണ്ടാണ് പ്രസിദ്ധീകരിച്ച IP ശ്രേണികൾ വഴിയുള്ള സ്ഥിരീകരണം രണ്ട് ദിശകളിലും പ്രധാനമാകുന്നത്.

ലോഗുകൾക്ക് എന്ത് പറയാൻ കഴിയില്ല?

നിങ്ങളുടെ സെർവറിൽ എത്തിയത് ലോഗുകൾ കാണിക്കുന്നു. ഒറിജിനിൽ എത്തുന്നതിന് മുമ്പ് നിങ്ങളുടെ CDN എന്ത് തടഞ്ഞു, 200 നൽകിയ ഒരു പേജിൽ ടെക്സ്റ്റ് ഉണ്ടായിരുന്നോ അതോ ഒരു സ്ക്രിപ്റ്റ് ചട്ടക്കൂട് മാത്രമോ, ഇന്ന് വന്നാൽ ഒരു ക്രോളറിനെ അനുവദിക്കുമോ എന്നൊന്നും അവ കാണിക്കുന്നില്ല. നിങ്ങൾ സൂക്ഷിക്കുന്ന കാലയളവ് മാത്രമേ അവ ഉൾക്കൊള്ളൂ, തിരക്ക് കുറഞ്ഞ സൈറ്റുകളിൽ AI ക്രോളറുകൾ അപൂർവമായേ വരൂ.

ഒരു AISeeWhy അക്കൗണ്ടിൽ combined ഫോർമാറ്റിലുള്ള ഒരു ആക്‌സസ് ലോഗ് (സാധാരണ ഫയലോ .gz-ഓ, 50 MB വരെ) അപ്‌ലോഡ് ചെയ്യാം; അത് വിശകലനം ചെയ്ത ശേഷം ഉപേക്ഷിക്കുന്നു. ഓരോ AI ക്രോളറിന്റെയും അഭ്യർത്ഥനകൾ സ്റ്റാറ്റസ് കോഡുകൾ സഹിതം എണ്ണുകയും കമ്പനികൾ പ്രസിദ്ധീകരിക്കുന്ന IP ശ്രേണികളുമായി പരിശോധിക്കുകയും ചെയ്യുന്നു.

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

പതിവ് ചോദ്യങ്ങൾ

എന്റെ ലോഗുകളിൽ Google-Extended എന്തുകൊണ്ട് കാണുന്നില്ല?

Google-Extended-ന് പ്രത്യേക യൂസർ ഏജന്റ് സ്ട്രിംഗ് ഇല്ലെന്ന് Google പറയുന്നു. ക്രോളിംഗ് Google-ന്റെ നിലവിലുള്ള ക്രോളറുകളാണ് ചെയ്യുന്നത്, ഉള്ളടക്കം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് മാത്രമേ ടോക്കൺ നിയന്ത്രിക്കുന്നുള്ളൂ. ക്രോൾ ചെയ്യുന്നില്ലെന്ന് Apple പറയുന്ന Applebot-Extended-നും ഇത് ബാധകമാണ്.

എന്റെ ലോഗുകളിലെ യൂസർ ഏജന്റിനെ വിശ്വസിക്കാമോ?

ഇല്ല. ആർക്കും ഏത് യൂസർ ഏജന്റും അയയ്ക്കാം. അതിനെ ഒരു അവകാശവാദമായി കണ്ട് കമ്പനിയുടെ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികൾ ഉപയോഗിച്ചോ, Google, Apple, Common Crawl എന്നിവയ്ക്ക് റിവേഴ്സ്, ഫോർവേഡ് DNS ലുക്കപ്പ് ഉപയോഗിച്ചോ സ്ഥിരീകരിക്കുക.

എന്റെ ലോഗുകളിൽ AI ക്രോളർ സന്ദർശനങ്ങളൊന്നുമില്ല. ഞാൻ തടയപ്പെട്ടിരിക്കുകയാണോ?

നിർബന്ധമില്ല. ക്രോളർ ഇതുവരെ സന്ദർശിച്ചിട്ടുണ്ടാകില്ല, നിങ്ങളുടെ CDN ഒറിജിന് മുമ്പേ അതിനെ തടഞ്ഞിട്ടുണ്ടാകാം, അല്ലെങ്കിൽ നിങ്ങളുടെ ലോഗുകൾ CDN-ന്റെ IP വിലാസങ്ങൾ മാത്രം രേഖപ്പെടുത്തുന്നുണ്ടാകാം. നിങ്ങളുടെ CDN-ന്റെ സുരക്ഷാ ഇവന്റുകൾ പരിശോധിച്ച് ഓരോ ക്രോളറിന്റെയും യൂസർ ഏജന്റ് ഉപയോഗിച്ച് പേജ് പരീക്ഷിക്കുക.

ChatGPT-User ട്രാഫിക് ഒരു ക്രോളറാണോ?

ChatGPT-User ചില ഉപയോക്തൃ പ്രവൃത്തികൾക്കായി ഉപയോഗിക്കുന്നുവെന്നും വെബ് സ്വയമേവ ക്രോൾ ചെയ്യാൻ ഉപയോഗിക്കുന്നില്ലെന്നും OpenAI പറയുന്നു. ഒരാൾ ഒരു പേജിനെക്കുറിച്ച് ChatGPT-യോട് ചോദിച്ച ശേഷമാണ് സാധാരണയായി ഇതിന്റെ സന്ദർശനങ്ങൾ വരുന്നത്, അതിനാൽ അവ ചെറിയ എണ്ണത്തിലാണ്.

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ