સર્વર લૉગમાં AI ક્રૉલર કેવી રીતે તપાસવા

પ્રકાશિત

ટૂંકો જવાબ

તમારા access logના યુઝર એજન્ટ ફીલ્ડમાં GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot અને PerplexityBot જેવા ટોકન શોધો, પછી તેમને કયા સ્ટેટસ કોડ મળ્યા તે જુઓ. ફક્ત યુઝર એજન્ટથી કંઈ સાબિત થતું નથી, તેથી દરેક સ્રોત IPને પ્રોવાઇડરની પ્રકાશિત IP યાદી સાથે, અથવા Google અને Apple માટે reverse અને forward DNSથી ચકાસો.

robots.txt જણાવે છે કે તમે ક્રૉલરને શું કરવા કહો છો. તમારો access log બતાવે છે કે ખરેખર શું થયું: કયા AI ક્રૉલર આવ્યા, તેમણે કયાં પેજ મંગાવ્યાં, અને તમારા સર્વરે શો જવાબ આપ્યો. તમારી પાસે આ સૌથી સીધો પુરાવો છે, અને તેના માટે લૉગ ફાઇલો અને ટર્મિનલ સિવાય કંઈ જોઈતું નથી. નીચેનાં ઉદાહરણો nginx અને Apache ડિફૉલ્ટ રૂપે વાપરે છે તે combined log format વાપરે છે.

આ પેજ પર
  1. access logમાં AI ક્રૉલરની મુલાકાત કેવી દેખાય છે?
  2. AI ક્રૉલરની મુલાકાતો કેવી રીતે ગણવી?
  3. દરેક ક્રૉલરને ખરેખર શું મળ્યું?
  4. મુલાકાત ખરેખર OpenAI, Anthropic કે Perplexity તરફથી આવી હતી તે કેવી રીતે ચકાસવું?
  5. Googlebot, Applebot અને CCBotને કેવી રીતે ચકાસવા?
  6. નકલી AI ક્રૉલર કેવા દેખાય છે?
  7. લૉગ તમને શું કહી શકતા નથી?

access logમાં AI ક્રૉલરની મુલાકાત કેવી દેખાય છે?

combined formatમાં દરેક લાઇનમાં ક્લાયન્ટ IP, સમય, વિનંતીની લાઇન, સ્ટેટસ કોડ, જવાબનું કદ, referrer અને યુઝર એજન્ટ હોય છે. nginx તેને $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" તરીકે વ્યાખ્યાયિત કરે છે, અને Apacheના combined formatમાં એ જ ફીલ્ડ છે. OpenAIના ટ્રેનિંગ ક્રૉલરની મુલાકાત આવી દેખાય છે:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

શોધવાના ટોકન એ છે જે પ્રોવાઇડર દસ્તાવેજમાં જણાવે છે: GPTBot, OAI-SearchBot અને ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot અને Claude-User (Anthropic); PerplexityBot અને Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer અને CCBot. તમને Google-Extended કે Applebot-Extended ક્યારેય દેખાશે નહીં. Google કહે છે કે Google-Extendedની અલગ યુઝર એજન્ટ સ્ટ્રિંગ નથી, અને Apple કહે છે કે Applebot-Extended ક્રૉલ કરતો નથી; બંને ફક્ત robots.txt ટોકન છે.

AI ક્રૉલરની મુલાકાતો કેવી રીતે ગણવી?

દરેક લાઇનને ડબલ ક્વોટ અક્ષર પર વિભાજિત કરવાથી યુઝર એજન્ટ ફીલ્ડ 6માં આવે છે. ફક્ત એ ફીલ્ડ સાથે મેળવવાથી એવાં URLથી ખોટા મેળ ટળે છે જેમાં સંજોગવશાત બૉટનું નામ હોય. આ હાલના લૉગ અને રોટેટ થયેલા, કૉમ્પ્રેસ કરેલા લૉગમાં દરેક ક્રૉલરની મુલાકાતો ગણે છે:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache માટે પાથ બદલો, ઘણી વાર /var/log/apache2/access.log* કે /var/log/httpd/access_log*. zcat -f સાદી અને gzip કરેલી બંને ફાઇલો વાંચે છે. જો તમે અપેક્ષા રાખો છો તે ક્રૉલર ન દેખાય, તો એટલાથી બ્લૉક સાબિત થતો નથી: કદાચ તમારા લૉગ જે સમયગાળો આવરે છે તેમાં તે આવ્યો જ ન હોય.

દરેક ક્રૉલરને ખરેખર શું મળ્યું?

મુલાકાતો કરતાં જવાબો વધુ મહત્ત્વના છે. દરેક વિનંતી પર 403 મેળવતો ક્રૉલર આવ્યો તો ખરો, પણ તેણે કંઈ વાંચ્યું નથી. આ કમાન્ડ સ્ટેટસ કોડ, સૌથી વધુ મંગાવાયેલા પાથ અને ક્રૉલરે robots.txt મેળવી કે નહીં તે બતાવે છે:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

મોટે ભાગે 200 મળે તે જ તમે ઇચ્છો છો. ઘણા 403 કે 429 ફાયરવૉલ નિયમ કે rate limit તરફ ઇશારો કરે છે. robots.txt પર 5xx જવાબો ગંભીર છે: RFC 9309 મુજબ robots.txt માટે સર્વર એરર મેળવતા ક્રૉલરે માની લેવું પડે કે આખી સાઇટ મનાઈમાં છે.

જો તમારી સાઇટ CDN પાછળ હોય, તો બે વાત બદલાય છે. CDN જે વિનંતીઓ બ્લૉક કરે છે તે તમારા origin સુધી પહોંચતી જ નથી, તેથી તે તેના લૉગમાં બિલકુલ દેખાતી નથી; તેના બદલે CDNના પોતાના security events તપાસો. અને જો તમે મુલાકાતીનું IP પાછું ન મેળવો, તો origin CDNનું સરનામું લૉગ કરે છે. ઉદાહરણ તરીકે, Cloudflare મૂળ IP CF-Connecting-IP હેડરમાં મોકલે છે અને ડિફૉલ્ટ રૂપે Cloudflareનું IP લૉગ થાય છે.

મુલાકાત ખરેખર OpenAI, Anthropic કે Perplexity તરફથી આવી હતી તે કેવી રીતે ચકાસવું?

આ પ્રોવાઇડર તેમના એજન્ટ વાપરે છે તે IP રેન્જ પ્રકાશિત કરે છે: OpenAI openai.com/gptbot.json, openai.com/searchbot.json અને openai.com/chatgpt-user.json પર; Anthropic claude.com/crawling/bots.json પર; Perplexity perplexity.ai/perplexitybot.json અને perplexity.ai/perplexity-user.json પર. Anthropic કહે છે કે તેની યાદીમાંનું સ્રોત IP દર્શાવે છે કે ક્રૉલર Anthropic તરફથી આવે છે. આ ત્રણમાંથી કોઈ reverse DNS ચકાસણી દસ્તાવેજમાં જણાવતું નથી, તેથી યાદીઓ વાપરો.

આ ફાઇલોનું માળખું એકસરખું છે, ipv4Prefix કે ipv6Prefix એન્ટ્રીઓની prefixes યાદી, તેથી એક નાની સ્ક્રિપ્ટ કોઈ પણ યાદી સામે IP ચકાસે છે:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

કોઈ ક્રૉલર હોવાનો દાવો કરતાં IPની યાદી બનાવવા લૉગ પર awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' ચલાવો અને તેને sort | uniq -c | sort -rnમાંથી પસાર કરો. દરેકને સંબંધિત યાદી સામે ચકાસો. યાદીઓ બદલાય છે, તેથી જૂની નકલ રાખવાને બદલે તેમને દર વખતે નવી મેળવો.

Googlebot, Applebot અને CCBotને કેવી રીતે ચકાસવા?

Google, Apple અને Common Crawl reverse અને forward DNS ચકાસણી દસ્તાવેજમાં જણાવે છે. IPનું hostname શોધો, તેનું ડોમેન તપાસો, પછી એ hostname શોધો અને ખાતરી કરો કે તે એ જ IP તરફ પાછું નિર્દેશ કરે છે:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google માટે hostname ક્રૉલર મુજબ googlebot.com, google.com કે googleusercontent.comથી પૂરું થવું જોઈએ; Google તેની રેન્જ પણ પ્રકાશિત કરે છે, Googlebot common-crawlers.jsonમાં. Apple માટે તે applebot.apple.comમાં હોવું જોઈએ, રેન્જ applebot.jsonમાં. Common Crawl માટે તે crawl.commoncrawl.org હેઠળ હોવું જોઈએ, અને Common Crawl ચેતવે છે કે બીજા ક્રૉલર ખોટી રીતે CCBot નામનો દાવો કરે છે.

નકલી AI ક્રૉલર કેવા દેખાય છે?

સ્ક્રેપર ઘણી વાર ફિલ્ટરમાંથી પસાર થવા જાણીતા ક્રૉલરનો યુઝર એજન્ટ ઉછીનો લે છે. સામાન્ય સંકેતો:

ઊલટી સમસ્યા પણ છે: સામાન્ય બ્રાઉઝર યુઝર એજન્ટ વાપરતો ક્રૉલર લૉગ લાઇન પરથી બિલકુલ ઓળખી શકાતો નથી. 2025માં Cloudflareએ કહ્યું કે તેણે Perplexityને તેની પ્રકાશિત રેન્જ બહારનાં IP પરથી અઘોષિત, બ્રાઉઝર જેવા યુઝર એજન્ટથી ક્રૉલ કરતું જોયું; Perplexityએ આ વર્ણન સાથે અસંમતિ દર્શાવી અને ટ્રાફિકનો એક ભાગ થર્ડ-પાર્ટી સેવાનો ગણાવ્યો. એકલા લૉગથી આવા કિસ્સાનો નિર્ણય થઈ શકતો નથી, તેથી જ પ્રકાશિત IP રેન્જથી ચકાસણી બંને દિશામાં મહત્ત્વની છે.

લૉગ તમને શું કહી શકતા નથી?

લૉગ બતાવે છે કે તમારા સર્વર સુધી શું પહોંચ્યું. તે નથી બતાવતા કે તમારા CDNએ origin પહેલાં શું બ્લૉક કર્યું, 200 આપનાર પેજમાં લખાણ હતું કે ફક્ત સ્ક્રિપ્ટનું ખોખું, કે ક્રૉલર આજે આવે તો તેને છૂટ મળશે કે નહીં. તે ફક્ત તમે રાખો છો તે સમયગાળો આવરે છે, અને ઓછા ટ્રાફિકવાળી સાઇટ પર AI ક્રૉલર ભાગ્યે જ દેખાઈ શકે છે.

AISeeWhy એકાઉન્ટમાં તમે combined formatમાં access log અપલોડ કરી શકો છો (સાદો કે .gz, 50 MB સુધી); તેનું વિશ્લેષણ કરીને તેને કાઢી નખાય છે, અને દરેક AI ક્રૉલરની વિનંતીઓ તેમના સ્ટેટસ કોડ સાથે ગણાય છે અને પ્રોવાઇડર પ્રકાશિત કરે છે તે IP રેન્જ સામે ચકાસાય છે.

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

મારા લૉગમાં Google-Extended કેમ દેખાતો નથી?

Google કહે છે કે Google-Extendedની અલગ યુઝર એજન્ટ સ્ટ્રિંગ નથી. ક્રૉલિંગ Googleના હાલના ક્રૉલર કરે છે, અને ટોકન ફક્ત એ નક્કી કરે છે કે કન્ટેન્ટનો ઉપયોગ કેવી રીતે થઈ શકે. Applebot-Extendedને પણ આ જ લાગુ પડે છે, જે Apple મુજબ ક્રૉલ કરતો નથી.

શું હું મારા લૉગના યુઝર એજન્ટ પર ભરોસો કરી શકું?

ના. કોઈ પણ કોઈ પણ યુઝર એજન્ટ મોકલી શકે છે. તેને દાવો ગણો અને પ્રોવાઇડરની પ્રકાશિત IP રેન્જથી, અથવા Google, Apple અને Common Crawl માટે reverse અને forward DNS લુકઅપથી તેની ખાતરી કરો.

મારા લૉગમાં AI ક્રૉલરની કોઈ મુલાકાત નથી. શું હું બ્લૉક છું?

જરૂરી નથી. ક્રૉલર કદાચ હજી આવ્યો ન હોય, તમારા CDNએ તેને origin પહેલાં બ્લૉક કર્યો હોય, અથવા તમારા લૉગ ફક્ત CDNનાં IP સરનામાં નોંધતા હોય. તમારા CDNના security events તપાસો અને દરેક ક્રૉલરના યુઝર એજન્ટથી પેજ ચકાસો.

શું ChatGPT-User ટ્રાફિક ક્રૉલર છે?

OpenAI કહે છે કે ChatGPT-User યુઝરની અમુક ક્રિયાઓ માટે વપરાય છે અને વેબને ઑટોમેટિક રીતે ક્રૉલ કરવા વપરાતો નથી. તેની મુલાકાતો સામાન્ય રીતે કોઈ વ્યક્તિ ChatGPTને પેજ વિશે પૂછે પછી આવે છે, તેથી તે ઓછી સંખ્યામાં હોય છે.

સ્રોતો

વધુ લેખો