আপনার সার্ভার লগ থেকে একটি IP ঠিকানা পেস্ট করুন এবং দেখুন সেটি কোনো ক্রলারের অফিসিয়ালভাবে প্রকাশিত IP রেঞ্জে আছে কি না। যে অনুরোধ নিজেকে GPTBot বা PerplexityBot বলে কিন্তু অন্য ঠিকানা থেকে আসে, সেটি ওই ক্রলার নয়, এবং AI উত্তরে দৃশ্যমানতা না হারিয়েই আপনি তা ব্লক করতে পারেন।
কোন ক্রলাররা তাদের IP ঠিকানা প্রকাশ করে?
OpenAI, Perplexity, Google, Microsoft ও Apple তাদের ক্রলারের IP রেঞ্জ JSON ফাইল হিসেবে প্রকাশ করে, যা আমরা প্রতিদিন পড়ি। অন্য কিছু AI কোম্পানি রেঞ্জ প্রকাশ করে না; তাদের ক্ষেত্রে reverse DNS বা কোম্পানির ডকুমেন্টেশনই একমাত্র উপায়। একটি লগে সব AI ক্রলারের ভিজিট একসঙ্গে দেখতে আপনার AISeeWhy অ্যাকাউন্টে লগটি আপলোড করুন।
এই লেখাটি ইংরেজি থেকে মেশিনের মাধ্যমে অনুবাদ করা হয়েছে।
এই IP চেক কী করে
আপনার সার্ভার বা ফায়ারওয়াল লগ থেকে একটি IPv4 বা IPv6 ঠিকানা পেস্ট করুন। চেকটি ক্রলার অপারেটররা নিজেরা যে IP রেঞ্জ প্রকাশ করে তাতে এটি খোঁজে: GPTBot, OAI-SearchBot ও ChatGPT-User-এর জন্য OpenAI, PerplexityBot ও Perplexity-User-এর জন্য Perplexity, Googlebot-এর জন্য Google, Bingbot-এর জন্য Microsoft এবং Applebot-এর জন্য Apple। আমরা সেই প্রকাশিত তালিকাগুলো প্রতিদিন পড়ি। উত্তরে সেই প্রতিটি ক্রলারের নাম থাকে যাদের রেঞ্জে ঠিকানাটি আছে, অথবা বলা হয় যে কারোটিতেই নেই।
ফলাফল কীভাবে পড়বেন
একটি ক্রলারের প্রকাশিত রেঞ্জে আছে: অনুরোধটি সেই অপারেটরের নেটওয়ার্ক থেকে এসেছে। মিলে যাওয়া ইউজার এজেন্টের সঙ্গে মিলিয়ে, এটি আসল ক্রলার হওয়ার শক্ত প্রমাণ।
কোনো প্রকাশিত রেঞ্জে নেই: অনুরোধটি তালিকার কোনো ক্রলার বলে দাবি করলে সেটি তা ছিল না। অন্য কেউ নামটি ব্যবহার করেছে, এবং AI উত্তরে দৃশ্যমানতা না হারিয়েই আপনি সেই ঠিকানা ব্লক করতে পারেন।
যাদের সঙ্গে মিলিয়ে দেখা হয়েছে: যে ক্রলারদের রেঞ্জ তুলনা করা হয়েছে তাদের তালিকা। এই তালিকায় না থাকা ক্রলারকে এখানে নিশ্চিত বা বাতিল করা যায় না।
যে কেউ কেন নিজেকে GPTBot বলে দাবি করতে পারে
ইউজার এজেন্ট হলো ক্লায়েন্টের পাঠানো এক লাইনের টেক্সট, এবং যে কেউ এতে GPTBot বা Googlebot লিখতে পারে। সাধারণ ফিল্টার পার হতে স্ক্র্যাপাররা এটা করে। এজন্যই যে ফায়ারওয়াল শুধু ইউজার এজেন্ট দেখে সেটি দুই দিক থেকেই ধোঁকা খেতে পারে: সেটি নকল ক্রলারদের ঢুকতে দেয়, অথবা নকল ক্রলারের বিরুদ্ধে লেখা রুল আসলটিকেও ব্লক করে। অপারেটরের প্রকাশিত তালিকার সঙ্গে IP ঠিকানা মিলিয়েই এদের আলাদা করা যায়।
যে ক্রলারদের অপারেটর আমাদের পড়া কোনো রেঞ্জ প্রকাশ করে না, তাদের জন্য অপারেটরের নিজস্ব ডকুমেন্টেশন ব্যবহার করুন। Google, Microsoft ও Apple একটি DNS চেকও সমর্থন করে: ঠিকানার হোস্ট নাম খুঁজুন, দেখুন সেটি অপারেটরের ডোমেইন দিয়ে শেষ হয় কি না, যেমন googlebot.com, google.com, search.msn.com বা applebot.apple.com, তারপর সেই হোস্ট নাম আবার খুঁজে নিশ্চিত করুন যে এটি একই ঠিকানা দেয়।
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
সাধারণ ভুল
নকল ক্রলারের অপব্যবহার দেখে নাম ধরে একটি ক্রলার ব্লক করা। বরং অপব্যবহারকারী ঠিকানাগুলো ব্লক করুন, নইলে আসল ক্রলারটিও হারাবেন।
ইউজার এজেন্টে GPTBot লেখা যেকোনো অনুরোধকে অনুমতি দেওয়া। আপনার ফায়ারওয়াল রুলে ইউজার এজেন্টের সঙ্গে প্রকাশিত রেঞ্জ মিলিয়ে নিন।
একটি প্রক্সির ঠিকানা চেক করা। CDN বা লোড ব্যালান্সারের পেছনে আপনার সার্ভার ভিজিটরের বদলে প্রক্সির ঠিকানা লগ করতে পারে; ক্লায়েন্টের ঠিকানা বহনকারী হেডার ব্যবহার করুন।
রেঞ্জের পুরোনো কপি রেখে দেওয়া। অপারেটররা এগুলো বদলায়; কয়েক মাস পুরোনো তালিকা থেকে তৈরি রুল আসল ক্রলারদের ব্লক করতে পারে।
একটি ঠিকানা থেকে পুরো লগ পর্যন্ত
এই চেক একবারে একটি ঠিকানার উত্তর দেয়। আপনার AISeeWhy অ্যাকাউন্টে পেইড প্ল্যানের সার্ভার-লগ চেক একটি পুরো অ্যাক্সেস লগ পড়ে, প্রতিটি AI ক্রলারের ভিজিট গোনে, এই প্রকাশিত রেঞ্জ দিয়ে আসল ক্রলারদের ছদ্মবেশীদের থেকে আলাদা করে এবং দেখায় আপনার সার্ভার তাদের কী উত্তর দিয়েছে।
প্রশ্নোত্তর
এই চেকে কি ClaudeBot আছে?
এই মুহূর্তে নেই: চেকটি সেই ক্রলারদের কভার করে যাদের প্রকাশিত রেঞ্জ ফাইল আমরা পড়ি, যেগুলো ফলাফলের নিচে তালিকাভুক্ত। অন্য ক্রলারদের জন্য অপারেটরের ডকুমেন্টেশন অনুসরণ করুন।
একটি ঠিকানা Googlebot-এর রেঞ্জে আছে কিন্তু ইউজার এজেন্ট অন্য কিছু বলছে। এর মানে কী?
অনুরোধটি Google-এর নেটওয়ার্ক থেকে এসেছে। Google কয়েকটি ক্রলার ও ফেচার চালায়; ইউজার এজেন্ট বলে দেয় কোনটি। এটি Google সেজে থাকা কোনো তৃতীয় পক্ষ ছিল না।
একসঙ্গে অনেক ঠিকানা চেক করতে পারি?
এই ফ্রি টুল দিয়ে নয়। এর প্রতিটি ভিজিট চেক করতে আপনার অ্যাকাউন্টে লগটি আপলোড করুন।
আমার দেওয়া ঠিকানা কি সংরক্ষণ করা হয়?
এটি চেকের উত্তর দিতে ব্যবহার হয় এবং আপনার অনুরোধের সঙ্গে সংরক্ষণ করা হয় না।