সার্ভার লগে AI ক্রলার কীভাবে চেক করবেন
আপনার অ্যাক্সেস লগের ইউজার এজেন্ট ফিল্ডে GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot ও PerplexityBot-এর মতো টোকেন খুঁজুন, তারপর তারা কোন স্ট্যাটাস কোড পেয়েছে দেখুন। শুধু ইউজার এজেন্ট কিছুই প্রমাণ করে না, তাই প্রতিটি উৎস IP ভেন্ডরের প্রকাশিত IP তালিকার সঙ্গে মেলান, অথবা Google ও Apple-এর ক্ষেত্রে reverse ও forward DNS দিয়ে যাচাই করুন।
robots.txt বলে আপনি ক্রলারদের কী করতে বলছেন। আপনার অ্যাক্সেস লগ দেখায় আসলে কী ঘটেছে: কোন AI ক্রলার এসেছিল, কোন পেজ চেয়েছিল, এবং আপনার সার্ভার কী উত্তর দিয়েছে। এটি আপনার হাতে থাকা সবচেয়ে সরাসরি প্রমাণ, এবং এর জন্য লগ ফাইল আর একটি টার্মিনাল ছাড়া কিছু লাগে না। নিচের উদাহরণগুলো combined লগ ফরম্যাট ব্যবহার করে, যা nginx ও Apache ডিফল্টভাবে ব্যবহার করে।
এই পেজে
অ্যাক্সেস লগে একটি AI ক্রলারের ভিজিট দেখতে কেমন?
combined ফরম্যাটে প্রতিটি লাইনে থাকে ক্লায়েন্টের IP, সময়, অনুরোধের লাইন, স্ট্যাটাস কোড, রেসপন্সের আকার, রেফারার ও ইউজার এজেন্ট। nginx একে সংজ্ঞায়িত করে $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" হিসেবে, আর Apache-এর combined ফরম্যাটেও একই ফিল্ড থাকে। OpenAI-এর ট্রেনিং ক্রলারের একটি ভিজিট দেখতে এরকম:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" যে টোকেনগুলো খুঁজতে হবে, সেগুলো ভেন্ডরদের ডকুমেন্ট করা: GPTBot, OAI-SearchBot ও ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot ও Claude-User (Anthropic); PerplexityBot ও Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer ও CCBot। Google-Extended বা Applebot-Extended আপনি কখনো দেখবেন না। Google বলে Google-Extended-এর আলাদা কোনো ইউজার এজেন্ট স্ট্রিং নেই, আর Apple বলে Applebot-Extended ক্রল করে না; দুটিই শুধু robots.txt টোকেন।
AI ক্রলারের ভিজিট কীভাবে গুনব?
প্রতিটি লাইনকে ডাবল কোট চিহ্ন ধরে ভাগ করলে ইউজার এজেন্ট আসে ফিল্ড 6-এ। শুধু সেই ফিল্ড মেলালে এমন URL থেকে ভুল মিল এড়ানো যায়, যেগুলোতে ঘটনাক্রমে কোনো বটের নাম আছে। এটি বর্তমান লগ এবং রোটেট করা, কম্প্রেস করা লগ মিলিয়ে প্রতিটি ক্রলারের ভিজিট গোনে:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Apache-এর জন্য পাথ বদলে নিন, প্রায়ই /var/log/apache2/access.log* বা /var/log/httpd/access_log*। zcat -f সাধারণ ও gzip করা দুই ধরনের ফাইলই পড়ে। যে ক্রলার আশা করছেন সে অনুপস্থিত থাকলে শুধু সেটিই ব্লকের প্রমাণ নয়: হয়তো আপনার লগের সময়সীমায় সে আসেইনি।
প্রতিটি ক্রলার আসলে কী পেয়েছে?
ভিজিটের চেয়ে উত্তর বেশি গুরুত্বপূর্ণ। যে ক্রলার প্রতিটি অনুরোধে 403 পায়, সে এসেছে কিন্তু কিছুই পড়েনি। এই কমান্ডগুলো দেখায় স্ট্যাটাস কোড, সবচেয়ে বেশি চাওয়া পাথ, এবং ক্রলার robots.txt এনেছে কি না:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c বেশিরভাগ 200 হলেই ভালো। অনেক 403 বা 429 ইঙ্গিত দেয় একটি ফায়ারওয়াল রুল বা রেট লিমিটের দিকে। robots.txt-এ 5xx উত্তর গুরুতর: RFC 9309 অনুযায়ী robots.txt-এর জন্য সার্ভার এরর পাওয়া ক্রলারকে ধরে নিতে হয় যে পুরো সাইটই নিষিদ্ধ।
আপনার সাইট CDN-এর পেছনে থাকলে দুটি জিনিস বদলায়। CDN যেসব অনুরোধ ব্লক করে, সেগুলো কখনো আপনার অরিজিনে পৌঁছায় না, তাই তার লগে একদমই দেখা যায় না; তার বদলে CDN-এর নিজস্ব সিকিউরিটি ইভেন্ট দেখুন। আর ভিজিটরের IP পুনরুদ্ধার না করলে অরিজিন CDN-এর ঠিকানা লগ করে। যেমন Cloudflare আসল IP পাঠায় CF-Connecting-IP হেডারে, আর ডিফল্টভাবে একটি Cloudflare IP লগ হয়।
একটি ভিজিট সত্যিই OpenAI, Anthropic বা Perplexity থেকে এসেছে কি না কীভাবে যাচাই করব?
এই ভেন্ডররা তাদের এজেন্টদের ব্যবহৃত IP রেঞ্জ প্রকাশ করে: OpenAI openai.com/gptbot.json, openai.com/searchbot.json ও openai.com/chatgpt-user.json-এ; Anthropic claude.com/crawling/bots.json-এ; Perplexity perplexity.ai/perplexitybot.json ও perplexity.ai/perplexity-user.json-এ। Anthropic বলে, তার তালিকায় থাকা একটি উৎস IP নির্দেশ করে যে ক্রলারটি Anthropic থেকে আসছে। এই তিনটির কেউই reverse DNS যাচাইয়ের কথা ডকুমেন্ট করে না, তাই তালিকাগুলো ব্যবহার করুন।
ফাইলগুলোর গঠন একই: ipv4Prefix বা ipv6Prefix এন্ট্রির একটি prefixes তালিকা, তাই একটি ছোট স্ক্রিপ্ট দিয়েই যেকোনোটির সঙ্গে একটি IP চেক করা যায়:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF কোনো নির্দিষ্ট ক্রলার বলে দাবি করা IP-গুলোর তালিকা পেতে লগের ওপর awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' চালান এবং সেটি sort | uniq -c | sort -rn-এর মধ্য দিয়ে পাঠান। প্রতিটিকে সংশ্লিষ্ট তালিকার সঙ্গে মেলান। তালিকাগুলো বদলায়, তাই পুরোনো কপি না রেখে প্রতিবার নতুন করে আনুন।
Googlebot, Applebot ও CCBot কীভাবে যাচাই করব?
Google, Apple ও Common Crawl reverse ও forward DNS চেকের কথা ডকুমেন্ট করে। IP-র হোস্টনেম খুঁজুন, তার ডোমেইন দেখুন, তারপর সেই হোস্টনেম খুঁজে নিশ্চিত হোন যে সেটি আবার একই IP-তে নির্দেশ করে:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Google-এর ক্ষেত্রে ক্রলারভেদে হোস্টনেম googlebot.com, google.com বা googleusercontent.com দিয়ে শেষ হতে হবে; Google তার রেঞ্জও প্রকাশ করে, Googlebot আছে common-crawlers.json-এ। Apple-এর ক্ষেত্রে এটি হতে হবে applebot.apple.com-এর মধ্যে, রেঞ্জ আছে applebot.json-এ। Common Crawl-এর ক্ষেত্রে এটি হতে হবে crawl.commoncrawl.org-এর অধীনে, এবং Common Crawl সতর্ক করে যে অন্য ক্রলাররা মিথ্যাভাবে CCBot নাম দাবি করে।
নকল AI ক্রলার দেখতে কেমন?
স্ক্র্যাপাররা প্রায়ই ফিল্টার পেরোতে পরিচিত কোনো ক্রলারের ইউজার এজেন্ট ধার করে। সাধারণ লক্ষণ:
- ইউজার এজেন্টে একটি ক্রলারের নাম আছে, কিন্তু IP সেই ভেন্ডরের প্রকাশিত তালিকায় নেই, অথবা তার reverse DNS মেলে না।
- উৎস হলো কোনো আবাসিক নেটওয়ার্ক বা এমন ক্লাউড প্রোভাইডার, যা ভেন্ডরের তালিকায় নেই।
- ক্লায়েন্ট কখনো robots.txt চায় না, অথবা এমন পাথ চায় যা robots.txt সেই ক্রলারের জন্য নিষিদ্ধ করে।
- অনুরোধের হার বা ধরন একই নামের যাচাই করা ট্রাফিক থেকে অনেক আলাদা, যেমন সার্চ বা লগইন এন্ডপয়েন্টে হঠাৎ অনেক অনুরোধ।
উল্টো সমস্যাও আছে: যে ক্রলার সাধারণ ব্রাউজারের ইউজার এজেন্ট ব্যবহার করে, তাকে লগের লাইন থেকে একদমই চেনা যায় না। 2025 সালে Cloudflare জানায়, তারা দেখেছে Perplexity তার প্রকাশিত রেঞ্জের বাইরের IP থেকে অঘোষিত, ব্রাউজারের মতো ইউজার এজেন্ট দিয়ে ক্রল করছে; Perplexity এই বিবরণের বিরোধিতা করে এবং ট্রাফিকের একাংশ একটি থার্ড-পার্টি সার্ভিসের বলে জানায়। শুধু লগ দিয়ে এ ধরনের বিষয়ের মীমাংসা হয় না, তাই প্রকাশিত IP রেঞ্জ দিয়ে যাচাই দুই দিকেই গুরুত্বপূর্ণ।
লগ কী বলতে পারে না?
লগ দেখায় আপনার সার্ভারে কী পৌঁছেছে। এটি দেখায় না অরিজিনের আগে আপনার CDN কী ব্লক করেছে, 200 ফেরত দেওয়া একটি পেজে টেক্সট ছিল নাকি শুধু স্ক্রিপ্টের খোলস, অথবা আজ এলে কোনো ক্রলার অনুমতি পেত কি না। এটি শুধু আপনার রাখা সময়সীমাটুকুই কভার করে, আর কম ভিজিটের সাইটে AI ক্রলার কদাচিৎ আসতে পারে।
AISeeWhy অ্যাকাউন্টে আপনি combined ফরম্যাটের একটি অ্যাক্সেস লগ আপলোড করতে পারেন (সাধারণ বা .gz, 50 MB পর্যন্ত); এটি বিশ্লেষণ করে মুছে ফেলা হয়, এবং প্রতিটি AI ক্রলারের অনুরোধ তাদের স্ট্যাটাস কোডসহ গোনা হয় ও ভেন্ডরদের প্রকাশিত IP রেঞ্জের সঙ্গে মেলানো হয়।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
আমার লগে Google-Extended দেখি না কেন?
Google বলে Google-Extended-এর আলাদা কোনো ইউজার এজেন্ট স্ট্রিং নেই। ক্রলিং করে Google-এর বিদ্যমান ক্রলাররা, আর টোকেনটি শুধু নিয়ন্ত্রণ করে কনটেন্ট কীভাবে ব্যবহার করা যাবে। Applebot-Extended-এর ক্ষেত্রেও একই কথা, যা Apple-এর মতে ক্রল করে না।
লগের ইউজার এজেন্টে কি ভরসা করা যায়?
না। যে কেউ যেকোনো ইউজার এজেন্ট পাঠাতে পারে। এটিকে একটি দাবি হিসেবে দেখুন এবং ভেন্ডরের প্রকাশিত IP রেঞ্জ দিয়ে, অথবা Google, Apple ও Common Crawl-এর ক্ষেত্রে reverse ও forward DNS লুকআপ দিয়ে নিশ্চিত করুন।
আমার লগে কোনো AI ক্রলারের ভিজিট নেই। আমি কি ব্লক?
নিশ্চিতভাবে বলা যায় না। ক্রলার হয়তো এখনো আসেনি, আপনার CDN হয়তো অরিজিনের আগেই তাকে ব্লক করেছে, অথবা আপনার লগে হয়তো শুধু CDN-এর IP ঠিকানা রেকর্ড হয়। আপনার CDN-এর সিকিউরিটি ইভেন্ট দেখুন এবং প্রতিটি ক্রলারের ইউজার এজেন্ট দিয়ে পেজটি পরীক্ষা করুন।
ChatGPT-User-এর ট্রাফিক কি ক্রলার?
OpenAI বলে ChatGPT-User ব্যবহারকারীর নির্দিষ্ট কিছু কাজে ব্যবহার হয় এবং স্বয়ংক্রিয়ভাবে ওয়েব ক্রল করতে ব্যবহার হয় না। এর ভিজিট সাধারণত আসে কেউ ChatGPT-কে একটি পেজ নিয়ে প্রশ্ন করার পরে, তাই সংখ্যায় কম হয়।
উৎস
- nginx: ngx_http_log_module (combined লগ ফরম্যাট)
- Apache HTTP Server 2.4: লগ ফাইল
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, আর সাইট মালিকেরা কীভাবে ক্রলারটি ব্লক করবেন?
- Perplexity: Perplexity ক্রলার
- Google: Google ক্রলার ও ফেচার যাচাই
- Google: সাধারণ ক্রলার, Google-Extended সহ
- Apple: Applebot সম্পর্কে
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: ভিজিটরের আসল IP পুনরুদ্ধার
- Cloudflare: ওয়েবসাইটের no-crawl নির্দেশ এড়াতে Perplexity গোপন, অঘোষিত ক্রলার ব্যবহার করছে
- Perplexity: এজেন্ট নাকি বট? খোলা ওয়েবে AI-কে বোঝা