OpenAI کے کرالرز کی وضاحت: GPTBot، OAI-SearchBot اور ChatGPT-User
OpenAI ایسا مواد جمع کرنے کے لیے جو اس کے ماڈلز کی ٹریننگ کر سکے GPTBot، ChatGPT سرچ کے لیے صفحات انڈیکس کرنے کے لیے OAI-SearchBot، اور کسی شخص کی درخواست پر وزٹس کے لیے ChatGPT-User استعمال کرتا ہے۔ GPTBot بلاک کرنے سے آپ صرف ٹریننگ سے opt out ہوتے ہیں۔ OAI-SearchBot بلاک کرنے سے آپ ChatGPT سرچ کے جوابات سے نکل جاتے ہیں۔ robots.txt شاید ChatGPT-User پر لاگو نہ ہو۔
ایک ہی کمپنی کے تین مختلف یوزر ایجنٹ، ہر ایک کا اپنا robots.txt ٹوکن، بہت الجھن پیدا کرتے ہیں۔ GPTBot کے آتے ہی بہت سی سائٹس نے اسے بلاک کر دیا، اور کچھ کو بعد میں پتہ چلا کہ انہوں نے وہ کرالر بھی بلاک کر دیا ہے جو طے کرتا ہے کہ ChatGPT ان کا حوالہ دے سکتا ہے یا نہیں، اکثر کسی وسیع فائر وال اصول کے ذریعے۔ یہ مضمون OpenAI کی اپنی دستاویزات کی مدد سے ہر ایجنٹ کا جائزہ لیتا ہے۔
اس صفحے پر
GPTBot کیا کرتا ہے؟
GPTBot ایسا مواد کرال کرتا ہے جو OpenAI کے generative AI فاؤنڈیشن ماڈلز کی ٹریننگ میں استعمال ہو سکتا ہے۔ OpenAI کی دستاویزات کہتی ہیں کہ GPTBot کو ممنوع کرنا بتاتا ہے کہ سائٹ کا مواد ان ماڈلز کی ٹریننگ میں استعمال نہ ہو۔
اس کے یوزر ایجنٹ میں GPTBot ٹوکن ہوتا ہے، مثلاً Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot۔ OpenAI بتاتا ہے کہ ورژن نمبر بدل سکتا ہے، اس لیے پوری اسٹرنگ کے بجائے ٹوکن سے ملائیں۔ OpenAI اپنی IP رینجز openai.com/gptbot.json پر شائع کرتا ہے۔
اسے اجازت دینا پالیسی کا فیصلہ ہے۔ کچھ ناشر چاہتے ہیں کہ ان کا مواد ٹریننگ ڈیٹا میں ہو، کچھ نہیں چاہتے۔ اسے بلاک کرنے سے ChatGPT سرچ پر اثر نہیں پڑتا، کیونکہ وہ دوسرا کرالر ہے۔ اگر آپ بعد میں رائے بدلیں تو Disallow لائن ہٹانا کافی ہے؛ کچھ رجسٹر کرنے یا درخواست دینے کی ضرورت نہیں۔
OAI-SearchBot کیا کرتا ہے؟
OAI-SearchBot OpenAI کا سرچ کرالر ہے۔ یہ ChatGPT کے سرچ فیچرز میں ویب سائٹس دکھاتا ہے۔ OpenAI صاف کہتا ہے کہ جو سائٹس OAI-SearchBot سے opt out کریں وہ ChatGPT سرچ کے جوابات میں نہیں دکھائی جائیں گی۔
اگر آپ چاہتے ہیں کہ ChatGPT آپ کے صفحات کا حوالہ دے تو اسی کرالر کو اجازت دیں، robots.txt میں بھی اور فائر وال میں بھی۔ اس کی IP رینجز openai.com/searchbot.json پر شائع ہیں، جن سے فائر وال تصدیق کر سکتا ہے کہ درخواست واقعی OpenAI سے آئی ہے۔
ChatGPT-User کیا کرتا ہے؟
ChatGPT-User عام معنوں میں کرالر نہیں۔ یہ تب صفحہ منگواتا ہے جب ChatGPT کا کوئی یوزر یا Custom GPT اس کی درخواست کرے، مثلاً جب کوئی آپ کا URL چیٹ میں پیسٹ کر کے خلاصہ مانگے۔ OpenAI کہتا ہے کہ یہ ویب کی خودکار کرالنگ کے لیے استعمال نہیں ہوتا۔
یہاں OpenAI کی دستاویزات کی دو تفصیلات اہم ہیں۔ پہلی، چونکہ یہ اقدامات یوزر شروع کرتا ہے، robots.txt کے اصول شاید لاگو نہ ہوں۔ دوسری، ChatGPT-User یہ طے کرنے کے لیے استعمال نہیں ہوتا کہ مواد سرچ میں آ سکتا ہے یا نہیں۔ سرچ کے لیے اہم سیٹنگ OAI-SearchBot ہے۔
ہر ایک کو بلاک کرنے سے کیا ہوتا ہے؟
GPTBotبلاک کریں: آپ کا مواد ٹریننگ میں استعمال نہ کرنے کے لیے نشان زد ہو جاتا ہے۔ اگرOAI-SearchBotکو اجازت ہے تو ChatGPT سرچ پھر بھی آپ کو دکھا سکتی ہے اور حوالہ دے سکتی ہے۔OAI-SearchBotبلاک کریں: آپ کے صفحات ChatGPT سرچ کے جوابات میں نہیں دکھائے جائیں گے۔ ٹریننگ الگ سےGPTBotسے کنٹرول ہوتی ہے۔- robots.txt میں
ChatGPT-Userبلاک کریں: OpenAI کہتا ہے کہ robots.txt شاید ان وزٹس پر لاگو نہ ہو، اس لیے اثر کی ضمانت نہیں۔ فائر وال پر بلاک کرنے سے منگوانا رک جاتا ہے، اور آپ کا لنک پیسٹ کرنے والے یوزرز کو آپ کے مواد کے بجائے خرابی ملتی ہے۔ - فائر وال پر تینوں بلاک کریں: ChatGPT نہ آپ کے صفحات انڈیکس کر سکتا ہے نہ منگوا سکتا ہے، اس لیے اس کے پاس اقتباس دینے کو آپ کا کچھ نہیں ہوتا۔
- تینوں کو اجازت دیں: آپ کے صفحات سرچ کے لیے انڈیکس ہو سکتے ہیں، درخواست پر منگوائے جا سکتے ہیں اور،
GPTBotکے ذریعے، ٹریننگ میں استعمال ہو سکتے ہیں۔
OpenAI یہ بھی بتاتا ہے کہ جب GPTBot اور OAI-SearchBot دونوں کو اجازت ہو تو وہ دوبارہ کرال سے بچنے کے لیے ایک کرال کے نتائج دونوں مقاصد کے لیے استعمال کر سکتا ہے۔
OpenAI کے کرالرز کے لیے مجھے کون سا robots.txt استعمال کرنا چاہیے؟
ChatGPT کے جوابات میں آنا چاہنے والی زیادہ تر سائٹس کے لیے: سرچ کرالر کو اجازت دیں اور ٹریننگ کا فیصلہ الگ سے کریں۔ یہ فائل سرچ کو اجازت دیتی ہے اور ٹریننگ سے opt out کرتی ہے:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309 کی ایک تفصیل پر دھیان دیں: کرالر اس گروپ پر چلتا ہے جس میں اس کا نام ہو اور * گروپ کو نظر انداز کرتا ہے۔ اوپر کی مثال میں OAI-SearchBot کو /admin/ میں جانے کی اجازت ہوگی کیونکہ اس کے اپنے گروپ میں Disallow: /admin/ لائن نہیں۔ جو پاتھ نجی رکھنے ہوں انہیں ہر نام والے گروپ میں دہرائیں۔ OpenAI کہتا ہے کہ سرچ کی تبدیلیاں لاگو ہونے میں تقریباً 24 گھنٹے لگ سکتے ہیں۔
کیسے تصدیق کروں کہ فائر وال انہیں گزرنے دیتا ہے؟
robots.txt صرف آپ کی پالیسی بتاتا ہے۔ ہر درخواست کو اصل میں کیا ملتا ہے یہ فائر وال یا CDN طے کرتا ہے۔ ہر کرالر کے یوزر ایجنٹ کے ساتھ صفحہ منگوائیں اور اسٹیٹس کوڈ اور body سائز کا براؤزر کی درخواست سے موازنہ کریں۔ کرالر کو 403، 429 یا چیلنج صفحہ اور براؤزر کو عام صفحہ ملے تو مطلب ہے کہ فائر وال آپ کے robots.txt پر حاوی ہے۔
AISeeWhy یہ موازنہ OpenAI کے تینوں ایجنٹس کے لیے ایک ساتھ چلاتا ہے، OAI-SearchBot اور ChatGPT-User کے بلاک کو P1 درجہ دیتا ہے کیونکہ ان سے حوالے ضائع ہوتے ہیں، اور بلاک شدہ GPTBot کو غلطی کے بجائے P3 پالیسی فیصلہ دکھاتا ہے۔
اس مسئلے کے حل
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- AI کرالر IP جانچ
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
OpenAI کے کرالرز کی یوزر ایجنٹ اسٹرنگز کیا ہیں؟
OpenAI کی دستاویزات GPTBot کے لیے Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot، OAI-SearchBot کے لیے compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot پر ختم ہونے والی Chrome جیسی اسٹرنگ، اور ChatGPT-User کے لیے Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot دیتی ہیں۔ ورژن نمبر بدل سکتے ہیں، اس لیے ٹوکن پر مطابقت کریں۔ IP رینجز openai.com/gptbot.json، openai.com/searchbot.json اور openai.com/chatgpt-user.json پر شائع ہیں؛ اصل کرالر کو نقال سے الگ کرنے کے لیے ماخذ IP کو ان سے جانچیں۔
کیا GPTBot اور ChatGPT ایک ہی چیز ہیں؟
نہیں۔ GPTBot ٹریننگ ڈیٹا کا کرالر ہے۔ ChatGPT سرچ OAI-SearchBot استعمال کرتی ہے، اور یوزرز کی درخواست پر براہ راست وزٹس ChatGPT-User سے آتے ہیں۔
کیا میں ChatGPT سرچ کو اجازت دے کر ٹریننگ بلاک کر سکتا ہوں؟
ہاں۔ robots.txt میں OAI-SearchBot کو اجازت دیں اور GPTBot کو ممنوع کریں۔ OpenAI ان دونوں سیٹنگز کو آزاد بتاتا ہے۔
کیا مجھے OpenAI کو IP پتے سے بلاک کرنا چاہیے؟
IP سے بلاک کرنا کرالر کو آپ کا robots.txt پڑھنے سے روکتا ہے اور آپ کی پالیسی بدلنا مشکل بناتا ہے۔ عام طور پر بہتر ہے کہ پالیسی robots.txt میں بتائیں اور شائع شدہ IP رینجز OpenAI کے کرالرز کو بلاک کرنے کے بجائے ان کی تصدیق کے لیے استعمال کریں۔
پورے یوزر ایجنٹ کے بجائے ٹوکن سے کیوں ملائیں؟
OpenAI کہتا ہے کہ اس کے یوزر ایجنٹس میں ورژن نمبر بدل سکتا ہے، اور اس کی شائع کردہ مثالی اسٹرنگز ہر کرالر کی مختلف ہیں۔ GPTBot یا OAI-SearchBot سے ملنے والے اصول اپ ڈیٹ کے بعد بھی کام کرتے ہیں؛ پوری اسٹرنگ سے ملنے والے اصول خاموشی سے ملنا بند کر سکتے ہیں۔