GPTBot
GPTBot হলো OpenAI-এর ক্রলার, যা এমন কনটেন্ট সংগ্রহ করে যা তার জেনারেটিভ AI ফাউন্ডেশন মডেলের ট্রেনিংয়ে ব্যবহার হতে পারে। robots.txt-এ এটি নিষিদ্ধ করলে OpenAI-কে জানানো হয় আপনার কনটেন্ট ট্রেনিংয়ে ব্যবহার না করতে। এটি ব্লক করলে আপনি ChatGPT সার্চের উত্তর থেকে বাদ পড়েন না, কারণ সেগুলো OAI-SearchBot-এর ওপর নির্ভর করে।
কীভাবে অনুমতি দেবেন
User-agent: GPTBot
Allow: / কীভাবে ব্লক করবেন
User-agent: GPTBot
Disallow: / এটি কী করে
OpenAI জানায়, GPTBot তার জেনারেটিভ AI ফাউন্ডেশন মডেলগুলোকে আরও কাজের ও নিরাপদ করতে ব্যবহৃত হয়। এটি এমন কনটেন্ট ক্রল করে যা সেই মডেলগুলোর ট্রেনিংয়ে ব্যবহার হতে পারে, আর GPTBot নিষিদ্ধ করা বোঝায় যে একটি সাইটের কনটেন্ট ট্রেনিংয়ে ব্যবহার করা উচিত নয়।
এটিকে অনুমতি দেবেন কি না তা নীতিগত সিদ্ধান্ত, দৃশ্যমানতার নয়। ChatGPT সার্চ একটি আলাদা ক্রলার, OAI-SearchBot, ব্যবহার করে, এবং OpenAI দুটি সেটিংকে স্বাধীন হিসেবে বর্ণনা করে। দুটিকেই অনুমতি দিলে OpenAI জানায় যে দুবার ক্রল এড়াতে একটি ক্রলের ফলাফল দুটি উদ্দেশ্যেই ব্যবহার করতে পারে।
আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 21.4% এটি ব্লক করেছে। →
robots.txt টোকেন
GPTBot
ইউজার-এজেন্ট স্ট্রিং
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot আসল ভিজিট কীভাবে যাচাই করবেন
OpenAI এই এজেন্টের ব্যবহৃত IP রেঞ্জ একটি JSON ফাইল হিসেবে প্রকাশ করে। অনুরোধের উৎস IP সেই রেঞ্জগুলোর সঙ্গে মিলিয়ে দেখুন; যে অনুরোধ নিজেকে GPTBot বলে কিন্তু অন্য ঠিকানা থেকে আসে, তা OpenAI থেকে নয়। OpenAI জানায় ইউজার এজেন্টের সংস্করণ নম্বর বদলাতে পারে, তাই পুরো স্ট্রিং নয়, GPTBot টোকেনটি মিলিয়ে দেখুন।