AI ক্রলারের IP চেক

আপনার সার্ভার লগ থেকে একটি IP ঠিকানা পেস্ট করুন এবং দেখুন সেটি কোনো ক্রলারের অফিসিয়ালভাবে প্রকাশিত IP রেঞ্জে আছে কি না। যে অনুরোধ নিজেকে GPTBot বা PerplexityBot বলে কিন্তু অন্য ঠিকানা থেকে আসে, সেটি ওই ক্রলার নয়, এবং AI উত্তরে দৃশ্যমানতা না হারিয়েই আপনি তা ব্লক করতে পারেন।

কোন ক্রলাররা তাদের IP ঠিকানা প্রকাশ করে?

OpenAI, Perplexity, Google, Microsoft ও Apple তাদের ক্রলারের IP রেঞ্জ JSON ফাইল হিসেবে প্রকাশ করে, যা আমরা প্রতিদিন পড়ি। অন্য কিছু AI কোম্পানি রেঞ্জ প্রকাশ করে না; তাদের ক্ষেত্রে reverse DNS বা কোম্পানির ডকুমেন্টেশনই একমাত্র উপায়। একটি লগে সব AI ক্রলারের ভিজিট একসঙ্গে দেখতে আপনার AISeeWhy অ্যাকাউন্টে লগটি আপলোড করুন।

পূর্ণ চেক চালান →

গাইড

AI ক্রলার IP চেক কীভাবে ব্যবহার করবেন

এই লেখাটি ইংরেজি থেকে মেশিনের মাধ্যমে অনুবাদ করা হয়েছে।

এই IP চেক কী করে

আপনার সার্ভার বা ফায়ারওয়াল লগ থেকে একটি IPv4 বা IPv6 ঠিকানা পেস্ট করুন। চেকটি ক্রলার অপারেটররা নিজেরা যে IP রেঞ্জ প্রকাশ করে তাতে এটি খোঁজে: GPTBot, OAI-SearchBot ও ChatGPT-User-এর জন্য OpenAI, PerplexityBot ও Perplexity-User-এর জন্য Perplexity, Googlebot-এর জন্য Google, Bingbot-এর জন্য Microsoft এবং Applebot-এর জন্য Apple। আমরা সেই প্রকাশিত তালিকাগুলো প্রতিদিন পড়ি। উত্তরে সেই প্রতিটি ক্রলারের নাম থাকে যাদের রেঞ্জে ঠিকানাটি আছে, অথবা বলা হয় যে কারোটিতেই নেই।

ফলাফল কীভাবে পড়বেন

যে কেউ কেন নিজেকে GPTBot বলে দাবি করতে পারে

ইউজার এজেন্ট হলো ক্লায়েন্টের পাঠানো এক লাইনের টেক্সট, এবং যে কেউ এতে GPTBot বা Googlebot লিখতে পারে। সাধারণ ফিল্টার পার হতে স্ক্র্যাপাররা এটা করে। এজন্যই যে ফায়ারওয়াল শুধু ইউজার এজেন্ট দেখে সেটি দুই দিক থেকেই ধোঁকা খেতে পারে: সেটি নকল ক্রলারদের ঢুকতে দেয়, অথবা নকল ক্রলারের বিরুদ্ধে লেখা রুল আসলটিকেও ব্লক করে। অপারেটরের প্রকাশিত তালিকার সঙ্গে IP ঠিকানা মিলিয়েই এদের আলাদা করা যায়।

203.0.113.9 - - [18/Nov/2026:10:12:01 +0000] "GET /pricing/ HTTP/1.1" 200 5123 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

তালিকায় না থাকা ক্রলার যাচাই করা

যে ক্রলারদের অপারেটর আমাদের পড়া কোনো রেঞ্জ প্রকাশ করে না, তাদের জন্য অপারেটরের নিজস্ব ডকুমেন্টেশন ব্যবহার করুন। Google, Microsoft ও Apple একটি DNS চেকও সমর্থন করে: ঠিকানার হোস্ট নাম খুঁজুন, দেখুন সেটি অপারেটরের ডোমেইন দিয়ে শেষ হয় কি না, যেমন googlebot.com, google.com, search.msn.com বা applebot.apple.com, তারপর সেই হোস্ট নাম আবার খুঁজে নিশ্চিত করুন যে এটি একই ঠিকানা দেয়।

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

সাধারণ ভুল

একটি ঠিকানা থেকে পুরো লগ পর্যন্ত

এই চেক একবারে একটি ঠিকানার উত্তর দেয়। আপনার AISeeWhy অ্যাকাউন্টে পেইড প্ল্যানের সার্ভার-লগ চেক একটি পুরো অ্যাক্সেস লগ পড়ে, প্রতিটি AI ক্রলারের ভিজিট গোনে, এই প্রকাশিত রেঞ্জ দিয়ে আসল ক্রলারদের ছদ্মবেশীদের থেকে আলাদা করে এবং দেখায় আপনার সার্ভার তাদের কী উত্তর দিয়েছে।

প্রশ্নোত্তর

এই চেকে কি ClaudeBot আছে?

এই মুহূর্তে নেই: চেকটি সেই ক্রলারদের কভার করে যাদের প্রকাশিত রেঞ্জ ফাইল আমরা পড়ি, যেগুলো ফলাফলের নিচে তালিকাভুক্ত। অন্য ক্রলারদের জন্য অপারেটরের ডকুমেন্টেশন অনুসরণ করুন।

একটি ঠিকানা Googlebot-এর রেঞ্জে আছে কিন্তু ইউজার এজেন্ট অন্য কিছু বলছে। এর মানে কী?

অনুরোধটি Google-এর নেটওয়ার্ক থেকে এসেছে। Google কয়েকটি ক্রলার ও ফেচার চালায়; ইউজার এজেন্ট বলে দেয় কোনটি। এটি Google সেজে থাকা কোনো তৃতীয় পক্ষ ছিল না।

একসঙ্গে অনেক ঠিকানা চেক করতে পারি?

এই ফ্রি টুল দিয়ে নয়। এর প্রতিটি ভিজিট চেক করতে আপনার অ্যাকাউন্টে লগটি আপলোড করুন।

আমার দেওয়া ঠিকানা কি সংরক্ষণ করা হয়?

এটি চেকের উত্তর দিতে ব্যবহার হয় এবং আপনার অনুরোধের সঙ্গে সংরক্ষণ করা হয় না।

সম্পর্কিত টুল ও গাইড