AI கிராலர்களுக்காக உங்கள் சர்வர் logs-ஐச் சரிபார்ப்பது எப்படி?

வெளியிடப்பட்டது

சுருக்கமான பதில்

உங்கள் access log-இன் user agent புலத்தில் GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot போன்ற டோக்கன்களைத் தேடி, அவை பெற்ற நிலைக் குறியீடுகளைப் பாருங்கள். User agent மட்டும் எதையும் நிரூபிக்காது; எனவே ஒவ்வொரு மூல IP-ஐயும் நிறுவனம் வெளியிட்ட IP பட்டியலுடன் ஒப்பிடுங்கள், Google மற்றும் Apple-க்கு reverse, forward DNS மூலம் சரிபாருங்கள்.

கிராலர்களை நீங்கள் என்ன செய்யச் சொல்கிறீர்கள் என்பதை robots.txt கூறுகிறது. உண்மையில் என்ன நடந்தது என்பதை உங்கள் access log காட்டுகிறது: எந்த AI கிராலர்கள் வந்தன, எந்தப் பக்கங்களைக் கோரின, உங்கள் சர்வர் என்ன பதிலளித்தது. உங்களிடம் உள்ள மிக நேரடியான சான்று இதுவே; இதற்கு log கோப்புகளும் ஒரு terminal-உம் மட்டுமே போதும். கீழே உள்ள எடுத்துக்காட்டுகள் nginx மற்றும் Apache இயல்பாகப் பயன்படுத்தும் combined log வடிவத்தைப் பயன்படுத்துகின்றன.

இந்தப் பக்கத்தில்
  1. Access log-இல் AI கிராலர் வருகை எப்படித் தோன்றும்?
  2. AI கிராலர் வருகைகளை எப்படி எண்ணுவது?
  3. ஒவ்வொரு கிராலரும் உண்மையில் என்ன பெற்றது?
  4. ஒரு வருகை உண்மையில் OpenAI, Anthropic அல்லது Perplexity-இடமிருந்து வந்ததா என்று எப்படிச் சரிபார்ப்பது?
  5. Googlebot, Applebot, CCBot-ஐ எப்படிச் சரிபார்ப்பது?
  6. போலி AI கிராலர்கள் எப்படித் தோன்றும்?
  7. Logs எதைச் சொல்ல முடியாது?

Access log-இல் AI கிராலர் வருகை எப்படித் தோன்றும்?

Combined வடிவத்தில், ஒவ்வொரு வரியிலும் client IP, நேரம், கோரிக்கை வரி, நிலைக் குறியீடு, பதிலின் அளவு, referrer, user agent ஆகியவை இருக்கும். nginx இதை $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" என வரையறுக்கிறது; Apache-இன் combined வடிவத்திலும் இதே புலங்கள் உள்ளன. OpenAI-இன் பயிற்சி கிராலரின் வருகை இப்படித் தோன்றும்:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

தேட வேண்டிய டோக்கன்கள் நிறுவனங்கள் ஆவணப்படுத்தியவை: GPTBot, OAI-SearchBot, ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot, Claude-User (Anthropic); PerplexityBot, Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer, CCBot. Google-Extended அல்லது Applebot-Extended-ஐ நீங்கள் ஒருபோதும் பார்க்க மாட்டீர்கள். Google-Extended-க்குத் தனி user agent string இல்லை என்று Google கூறுகிறது, Applebot-Extended கிரால் செய்வதில்லை என்று Apple கூறுகிறது; இரண்டுமே robots.txt டோக்கன்கள் மட்டுமே.

AI கிராலர் வருகைகளை எப்படி எண்ணுவது?

ஒவ்வொரு வரியையும் இரட்டை மேற்கோள் குறியில் பிரித்தால், user agent புலம் 6-இல் வரும். அந்தப் புலத்தை மட்டும் பொருத்துவது, தற்செயலாக ஒரு பாட்டின் பெயரைக் கொண்ட URL-களால் வரும் தவறான பொருத்தங்களைத் தவிர்க்கிறது. இது தற்போதைய log மற்றும் சுழற்றப்பட்ட, சுருக்கப்பட்ட logs முழுவதும் ஒவ்வொரு கிராலரின் வருகைகளையும் எண்ணுகிறது:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache-க்குப் பாதையை மாற்றுங்கள்; பெரும்பாலும் /var/log/apache2/access.log* அல்லது /var/log/httpd/access_log*. zcat -f சாதாரண கோப்புகளையும் gzip கோப்புகளையும் படிக்கும். நீங்கள் எதிர்பார்க்கும் ஒரு கிராலர் இல்லையென்றால், அது மட்டுமே தடைக்குச் சான்று அல்ல: உங்கள் logs உள்ளடக்கும் காலத்தில் அது வராமல் இருந்திருக்கலாம்.

ஒவ்வொரு கிராலரும் உண்மையில் என்ன பெற்றது?

வருகைகளைவிடப் பதில்களே முக்கியம். ஒவ்வொரு கோரிக்கைக்கும் 403 பெறும் கிராலர் வந்திருக்கிறது, ஆனால் எதையும் படிக்கவில்லை. இந்தக் கட்டளைகள் நிலைக் குறியீடுகள், அதிகம் கோரப்பட்ட பாதைகள், கிராலர் robots.txt-ஐப் பெற்றதா என்பவற்றைக் காட்டுகின்றன:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

பெரும்பாலும் 200-கள் இருப்பதே நீங்கள் விரும்புவது. பல 403 அல்லது 429-கள் ஒரு ஃபயர்வால் விதியையோ rate limit-ஐயோ சுட்டுகின்றன. robots.txt-க்கான 5xx பதில்கள் தீவிரமானவை: RFC 9309-இன்படி robots.txt-க்குச் சர்வர் பிழையைப் பெறும் கிராலர் முழுத் தளமும் தடுக்கப்பட்டதாகக் கருத வேண்டும்.

உங்கள் தளம் ஒரு CDN-க்குப் பின்னால் இருந்தால், இரண்டு விஷயங்கள் மாறும். CDN தடுக்கும் கோரிக்கைகள் உங்கள் origin-ஐ அடைவதே இல்லை, எனவே அதன் logs-இல் அவை தோன்றவே தோன்றாது; அதற்குப் பதிலாக CDN-இன் சொந்தப் பாதுகாப்பு நிகழ்வுகளைச் சரிபாருங்கள். மேலும் பார்வையாளரின் IP-ஐ மீட்டெடுக்காவிட்டால், origin CDN-இன் முகவரியைப் பதிவுசெய்யும். உதாரணமாக, Cloudflare அசல் IP-ஐ CF-Connecting-IP header-இல் அனுப்புகிறது, இயல்பாக Cloudflare IP-ஐப் பதிவுசெய்கிறது.

ஒரு வருகை உண்மையில் OpenAI, Anthropic அல்லது Perplexity-இடமிருந்து வந்ததா என்று எப்படிச் சரிபார்ப்பது?

இந்த நிறுவனங்கள் தங்கள் ஏஜென்ட்கள் பயன்படுத்தும் IP வரம்புகளை வெளியிடுகின்றன: OpenAI openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json-இல்; Anthropic claude.com/crawling/bots.json-இல்; Perplexity perplexity.ai/perplexitybot.json, perplexity.ai/perplexity-user.json-இல். தன் பட்டியலில் உள்ள மூல IP, கிராலர் Anthropic-இடமிருந்து வருகிறது என்பதைக் குறிக்கிறது என்று Anthropic கூறுகிறது. இந்த மூன்றில் எதுவும் reverse DNS சரிபார்ப்பை ஆவணப்படுத்தவில்லை, எனவே பட்டியல்களைப் பயன்படுத்துங்கள்.

இந்தக் கோப்புகள் ஒரே வடிவத்தைக் கொண்டவை, ipv4Prefix அல்லது ipv6Prefix உள்ளீடுகள் கொண்ட ஒரு prefixes பட்டியல்; எனவே ஒரு சிறிய script எந்தப் பட்டியலுடனும் ஒரு IP-ஐச் சரிபார்க்கும்:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

ஒரு குறிப்பிட்ட கிராலர் எனக் கூறிய IP-களைப் பட்டியலிட, log-இல் awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}'-ஐ இயக்கி, அதை sort | uniq -c | sort -rn வழியாக அனுப்புங்கள். ஒவ்வொன்றையும் பொருந்தும் பட்டியலுடன் சரிபாருங்கள். பட்டியல்கள் மாறுகின்றன, எனவே பழைய நகலை வைத்திருக்காமல் ஒவ்வொரு முறையும் புதிதாகப் பெறுங்கள்.

Googlebot, Applebot, CCBot-ஐ எப்படிச் சரிபார்ப்பது?

Google, Apple, Common Crawl ஆகியவை reverse மற்றும் forward DNS சரிபார்ப்பை ஆவணப்படுத்துகின்றன. IP-இன் hostname-ஐக் கண்டறிந்து, அதன் domain-ஐச் சரிபார்த்து, பிறகு அந்த hostname-ஐத் தேடி அது அதே IP-ஐச் சுட்டுகிறதா என்று உறுதிசெய்யுங்கள்:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google-க்கு, கிராலரைப் பொறுத்து hostname googlebot.com, google.com அல்லது googleusercontent.com-இல் முடிய வேண்டும்; Google தன் வரம்புகளையும் வெளியிடுகிறது, Googlebot common-crawlers.json-இல் உள்ளது. Apple-க்கு அது applebot.apple.com-இல் இருக்க வேண்டும், வரம்புகள் applebot.json-இல் உள்ளன. Common Crawl-க்கு அது crawl.commoncrawl.org-இன் கீழ் இருக்க வேண்டும்; பிற கிராலர்கள் CCBot என்ற பெயரைப் பொய்யாகப் பயன்படுத்துவதாக Common Crawl எச்சரிக்கிறது.

போலி AI கிராலர்கள் எப்படித் தோன்றும்?

Scrapers வடிகட்டிகளைக் கடக்க நன்கு அறியப்பட்ட கிராலரின் user agent-ஐ அடிக்கடி கடன் வாங்குகின்றன. வழக்கமான அறிகுறிகள்:

எதிர்ச் சிக்கலும் உண்டு: சாதாரண உலாவி user agent-ஐப் பயன்படுத்தும் கிராலரை log வரியிலிருந்து அடையாளம் காணவே முடியாது. 2025-இல், Perplexity தன் வெளியிடப்பட்ட வரம்புகளுக்கு வெளியே உள்ள IP-களிலிருந்து அறிவிக்கப்படாத, உலாவி போன்ற user agents-உடன் கிரால் செய்வதைக் கவனித்ததாக Cloudflare கூறியது; Perplexity அந்த விவரிப்பை மறுத்து, போக்குவரத்தின் ஒரு பகுதியை மூன்றாம் தரப்புச் சேவைக்குக் காரணம் காட்டியது. இது போன்ற நிகழ்வுகளை logs மட்டுமே தீர்க்க முடியாது; அதனால்தான் வெளியிடப்பட்ட IP வரம்புகள் மூலம் சரிபார்ப்பது இரு திசைகளிலும் முக்கியம்.

Logs எதைச் சொல்ல முடியாது?

உங்கள் சர்வரை எது அடைந்தது என்பதை logs காட்டுகின்றன. Origin-க்கு முன்பே உங்கள் CDN எதைத் தடுத்தது, 200 தந்த பக்கத்தில் உரை இருந்ததா அல்லது script shell மட்டும் இருந்ததா, இன்று ஒரு கிராலர் வந்தால் அனுமதிக்கப்படுமா என்பதை அவை காட்டுவதில்லை. நீங்கள் வைத்திருக்கும் காலத்தை மட்டுமே அவை உள்ளடக்குகின்றன; அமைதியான தளங்களுக்கு AI கிராலர்கள் அரிதாகவே வரலாம்.

AISeeWhy கணக்கில் combined வடிவத்தில் ஒரு access log-ஐப் பதிவேற்றலாம் (சாதாரணம் அல்லது .gz, 50 MB வரை); அது பகுப்பாய்வு செய்யப்பட்டு நீக்கப்படும், ஒவ்வொரு AI கிராலரின் கோரிக்கைகளும் அவற்றின் நிலைக் குறியீடுகளுடன் எண்ணப்பட்டு, நிறுவனங்கள் வெளியிடும் IP வரம்புகளுடன் சரிபார்க்கப்படும்.

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

என் logs-இல் Google-Extended ஏன் தெரியவில்லை?

Google-Extended-க்குத் தனி user agent string இல்லை என்று Google கூறுகிறது. கிராலிங் Google-இன் ஏற்கெனவே உள்ள கிராலர்களால் செய்யப்படுகிறது, உள்ளடக்கம் எப்படிப் பயன்படுத்தப்படலாம் என்பதை மட்டுமே டோக்கன் கட்டுப்படுத்துகிறது. கிரால் செய்வதில்லை என்று Apple கூறும் Applebot-Extended-க்கும் இதுவே பொருந்தும்.

என் logs-இல் உள்ள user agent-ஐ நம்பலாமா?

இல்லை. யார் வேண்டுமானாலும் எந்த user agent-ஐயும் அனுப்பலாம். அதை ஒரு கூற்றாகக் கருதி, நிறுவனம் வெளியிட்ட IP வரம்புகள் மூலமோ, Google, Apple, Common Crawl-க்கு reverse மற்றும் forward DNS தேடல் மூலமோ உறுதிசெய்யுங்கள்.

என் logs-இல் AI கிராலர் வருகைகள் எதுவும் இல்லை. நான் தடுக்கப்பட்டிருக்கிறேனா?

அவசியமில்லை. கிராலர் இன்னும் வராமல் இருக்கலாம், உங்கள் CDN அதை origin-க்கு முன்பே தடுத்திருக்கலாம், அல்லது உங்கள் logs CDN-இன் IP முகவரிகளை மட்டுமே பதிவுசெய்யலாம். உங்கள் CDN-இன் பாதுகாப்பு நிகழ்வுகளைச் சரிபார்த்து, ஒவ்வொரு கிராலரின் user agent-உடனும் பக்கத்தைச் சோதியுங்கள்.

ChatGPT-User போக்குவரத்து ஒரு கிராலரா?

ChatGPT-User சில பயனர் செயல்களுக்குப் பயன்படுத்தப்படுகிறது, வலையைத் தானியங்கியாகக் கிரால் செய்யப் பயன்படுத்தப்படுவதில்லை என்று OpenAI கூறுகிறது. ஒரு நபர் ChatGPT-இடம் ஒரு பக்கத்தைப் பற்றிக் கேட்ட பிறகே அதன் வருகைகள் பொதுவாக நிகழ்கின்றன, எனவே அவை குறைந்த எண்ணிக்கையில் வருகின்றன.

மூலங்கள்

மேலும் கட்டுரைகள்