OpenAI-এর ক্রলার: GPTBot, OAI-SearchBot ও ChatGPT-User
OpenAI GPTBot ব্যবহার করে এমন কনটেন্ট সংগ্রহ করতে যা তার মডেল ট্রেনিংয়ে লাগতে পারে, OAI-SearchBot ব্যবহার করে ChatGPT সার্চের জন্য পেজ ইনডেক্স করতে, আর ChatGPT-User ব্যবহার করে কেউ অনুরোধ করলে ভিজিটের জন্য। GPTBot ব্লক করলে আপনি শুধু ট্রেনিং থেকে অপ্ট-আউট করেন। OAI-SearchBot ব্লক করলে আপনি ChatGPT সার্চের উত্তর থেকে বাদ পড়েন। ChatGPT-User-এর ক্ষেত্রে robots.txt প্রযোজ্য নাও হতে পারে।
একই কোম্পানির তিনটি আলাদা ইউজার এজেন্ট, প্রতিটির নিজস্ব robots.txt টোকেন, অনেক বিভ্রান্তি তৈরি করে। GPTBot আসার পর অনেক সাইট সেটি ব্লক করেছিল, আর কিছু সাইট পরে দেখেছে তারা সেই ক্রলারটিকেও ব্লক করেছে যা ঠিক করে ChatGPT তাদের উদ্ধৃত করতে পারবে কি না, প্রায়ই একটি বিস্তৃত ফায়ারওয়াল রুলের মাধ্যমে। এই আর্টিকেল OpenAI-এর নিজের ডকুমেন্টেশন ধরে প্রতিটি এজেন্ট ব্যাখ্যা করে।
এই পেজে
GPTBot কী করে?
GPTBot এমন কনটেন্ট ক্রল করে যা OpenAI-এর জেনারেটিভ AI ফাউন্ডেশন মডেল ট্রেনিংয়ে ব্যবহার হতে পারে। OpenAI-এর ডকুমেন্টেশন বলে, GPTBot-কে নিষেধ করা জানায় যে সাইটের কনটেন্ট সেই মডেলগুলোর ট্রেনিংয়ে ব্যবহার করা উচিত নয়।
এর ইউজার এজেন্টে GPTBot টোকেন থাকে, যেমন Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot। OpenAI উল্লেখ করে ভার্সন নম্বর বদলাতে পারে, তাই পুরো স্ট্রিং নয়, টোকেন দিয়ে মেলান। OpenAI তার IP রেঞ্জ openai.com/gptbot.json-এ প্রকাশ করে।
একে অনুমতি দেবেন কি না, তা নীতিগত সিদ্ধান্ত। কিছু প্রকাশক চান তাঁদের কনটেন্ট ট্রেনিং ডেটায় থাকুক, অন্যরা চান না। এটি ব্লক করলে ChatGPT সার্চে প্রভাব পড়ে না, কারণ সেটি আলাদা ক্রলার। পরে মত বদলালে Disallow লাইনটি সরালেই যথেষ্ট; কোথাও নিবন্ধন বা অনুরোধ করতে হয় না।
OAI-SearchBot কী করে?
OAI-SearchBot হলো OpenAI-এর সার্চ ক্রলার। এটি ChatGPT-র সার্চ ফিচারে ওয়েবসাইট তুলে ধরে। OpenAI স্পষ্ট বলে, যেসব সাইট OAI-SearchBot থেকে অপ্ট-আউট করেছে, সেগুলো ChatGPT সার্চের উত্তরে দেখানো হবে না।
ChatGPT আপনার পেজ উদ্ধৃত করুক চাইলে এই ক্রলারকেই অনুমতি দিতে হবে, robots.txt ও ফায়ারওয়াল দুই জায়গাতেই। এর IP রেঞ্জ openai.com/searchbot.json-এ প্রকাশিত, যা দিয়ে একটি ফায়ারওয়াল যাচাই করতে পারে যে অনুরোধটি সত্যিই OpenAI থেকে এসেছে।
ChatGPT-User কী করে?
ChatGPT-User সাধারণ অর্থে ক্রলার নয়। একজন ChatGPT ব্যবহারকারী বা একটি Custom GPT চাইলে এটি একটি পেজ আনে, যেমন কেউ চ্যাটে আপনার URL পেস্ট করে সারাংশ চাইলে। OpenAI বলে, এটি স্বয়ংক্রিয়ভাবে ওয়েব ক্রল করতে ব্যবহার হয় না।
এখানে OpenAI-এর ডকুমেন্টেশনের দুটি বিষয় গুরুত্বপূর্ণ। প্রথমত, এই কাজগুলো ব্যবহারকারী শুরু করেন বলে robots.txt রুল প্রযোজ্য নাও হতে পারে। দ্বিতীয়ত, কনটেন্ট সার্চে দেখা যাবে কি না তা ঠিক করতে ChatGPT-User ব্যবহার হয় না। সার্চের জন্য যে সেটিং গোনা হয়, তা হলো OAI-SearchBot।
প্রতিটি ব্লক করলে কী হয়?
GPTBotব্লক করুন: আপনার কনটেন্ট ট্রেনিংয়ে ব্যবহার না করার জন্য চিহ্নিত হয়।OAI-SearchBotঅনুমতি পেলে ChatGPT সার্চ তবুও আপনাকে দেখাতে ও উদ্ধৃত করতে পারে।OAI-SearchBotব্লক করুন: আপনার পেজ ChatGPT সার্চের উত্তরে দেখানো হবে না। ট্রেনিং আলাদাভাবেGPTBotদিয়ে নিয়ন্ত্রিত হয়।- robots.txt-এ
ChatGPT-Userব্লক করুন: OpenAI বলে এই ভিজিটগুলোর ক্ষেত্রে robots.txt প্রযোজ্য নাও হতে পারে, তাই ফল নিশ্চিত নয়। ফায়ারওয়ালে ব্লক করলে আনা বন্ধ হয়, আর যারা আপনার লিংক পেস্ট করেন তাঁরা আপনার কনটেন্টের বদলে একটি এরর পান। - ফায়ারওয়ালে তিনটিই ব্লক করুন: ChatGPT আপনার পেজ ইনডেক্সও করতে পারে না, আনতেও পারে না, তাই উদ্ধৃত করার মতো আপনার কিছুই তার কাছে থাকে না।
- তিনটিকেই অনুমতি দিন: আপনার পেজ সার্চের জন্য ইনডেক্স হতে পারে, অনুরোধে আনা যেতে পারে এবং
GPTBot-এর মাধ্যমে ট্রেনিংয়ে ব্যবহার হতে পারে।
OpenAI আরও উল্লেখ করে, GPTBot ও OAI-SearchBot দুটিই অনুমতি পেলে দুবার ক্রল এড়াতে সে একটি ক্রলের ফলাফল দুই উদ্দেশ্যেই ব্যবহার করতে পারে।
OpenAI-এর ক্রলারদের জন্য কোন robots.txt ব্যবহার করব?
যেসব সাইট ChatGPT-র উত্তরে দেখা যেতে চায়, তাদের বেশিরভাগের জন্য: সার্চ ক্রলারকে অনুমতি দিন এবং ট্রেনিং নিয়ে আলাদা করে সিদ্ধান্ত নিন। এই ফাইল সার্চকে অনুমতি দেয় এবং ট্রেনিং থেকে অপ্ট-আউট করে:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309-এর একটি বিষয় খেয়াল করুন: ক্রলার সেই গ্রুপ মেনে চলে যাতে তার নাম আছে, আর * গ্রুপ উপেক্ষা করে। উপরের উদাহরণে OAI-SearchBot /admin/-এ ঢুকতে পারবে, কারণ তার নিজের গ্রুপে Disallow: /admin/ লাইন নেই। যে পাথগুলো প্রাইভেট রাখতে চান, সেগুলো প্রতিটি নাম দেওয়া গ্রুপে আবার লিখুন। OpenAI বলে, সার্চের পরিবর্তন কার্যকর হতে প্রায় 24 ঘণ্টা লাগতে পারে।
ফায়ারওয়াল তাদের ঢুকতে দেয় কি না, কীভাবে নিশ্চিত হব?
robots.txt শুধু আপনার নীতি জানায়। প্রতিটি অনুরোধ আসলে কী পাবে, তা ঠিক করে ফায়ারওয়াল বা CDN। প্রতিটি ক্রলারের ইউজার এজেন্ট দিয়ে একটি পেজ চান এবং স্ট্যাটাস কোড ও বডির আকার একটি ব্রাউজার অনুরোধের সঙ্গে তুলনা করুন। ক্রলারের জন্য 403, 429 বা চ্যালেঞ্জ পেজ আর ব্রাউজারের জন্য স্বাভাবিক পেজ মানে ফায়ারওয়াল আপনার robots.txt-কে ছাপিয়ে যাচ্ছে।
AISeeWhy তিনটি OpenAI এজেন্টের জন্য একসঙ্গে এই তুলনা চালায়, OAI-SearchBot ও ChatGPT-User-এর ব্লককে P1 হিসেবে চিহ্নিত করে কারণ এতে উদ্ধৃতি হারাতে হয়, আর ব্লক করা GPTBot-কে এরর নয়, P3 নীতিগত সিদ্ধান্ত হিসেবে দেখায়।
এই সমস্যার সমাধান
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
OpenAI-এর ক্রলারদের ইউজার এজেন্ট স্ট্রিং কী?
OpenAI-এর ডকুমেন্টেশন GPTBot-এর জন্য দেয় Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot-এর জন্য Chrome-এর মতো একটি স্ট্রিং যা compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot দিয়ে শেষ হয়, আর ChatGPT-User-এর জন্য Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot। ভার্সন নম্বর বদলাতে পারে, তাই টোকেন দিয়ে মেলান। IP রেঞ্জ প্রকাশিত আছে openai.com/gptbot.json, openai.com/searchbot.json ও openai.com/chatgpt-user.json-এ; আসল ক্রলার আর নকলের পার্থক্য করতে সোর্স IP এগুলোর সঙ্গে মিলিয়ে দেখুন।
GPTBot আর ChatGPT কি একই?
না। GPTBot ট্রেনিং ডেটার জন্য একটি ক্রলার। ChatGPT সার্চ ব্যবহার করে OAI-SearchBot, আর ব্যবহারকারীর অনুরোধে লাইভ ভিজিট আসে ChatGPT-User থেকে।
ChatGPT সার্চকে অনুমতি দিয়ে কি ট্রেনিং ব্লক করা যায়?
হ্যাঁ। robots.txt-এ OAI-SearchBot-কে অনুমতি দিন এবং GPTBot-কে নিষেধ করুন। OpenAI দুটি সেটিংকে স্বাধীন হিসেবে ডকুমেন্ট করে।
OpenAI-কে কি IP ঠিকানা দিয়ে ব্লক করা উচিত?
IP দিয়ে ব্লক করলে ক্রলার আপনার robots.txt পড়তে পারে না এবং আপনার নীতি বদলানো কঠিন হয়। সাধারণত robots.txt-এ নীতি জানানো এবং প্রকাশিত IP রেঞ্জ OpenAI-এর ক্রলারদের ব্লক করতে নয়, যাচাই করতে ব্যবহার করাই ভালো।
পুরো ইউজার এজেন্ট নয়, টোকেন দিয়ে মেলাব কেন?
OpenAI বলে তার ইউজার এজেন্টের ভার্সন নম্বর বদলাতে পারে, আর তার প্রকাশিত উদাহরণ স্ট্রিং ক্রলারভেদে আলাদা। GPTBot বা OAI-SearchBot মেলানো রুল আপডেটের পরেও কাজ করে; হুবহু স্ট্রিং মেলানো রুল নিঃশব্দে মেলা বন্ধ করে দিতে পারে।