GPTBot
GPTBot، OpenAI کا وہ کرالر ہے جو ایسا مواد جمع کرتا ہے جو اس کے generative AI بنیادی ماڈلز کی ٹریننگ میں استعمال ہو سکتا ہے۔ robots.txt میں اسے ممنوع کرنا OpenAI کو بتاتا ہے کہ آپ کا مواد ٹریننگ کے لیے استعمال نہ کرے۔ اسے بلاک کرنے سے آپ ChatGPT سرچ کے جوابات سے نہیں نکلتے، جو OAI-SearchBot پر منحصر ہیں۔
اسے اجازت کیسے دیں
User-agent: GPTBot
Allow: / اسے بلاک کیسے کریں
User-agent: GPTBot
Disallow: / یہ کیا کرتا ہے
OpenAI کہتا ہے کہ GPTBot اس کے generative AI بنیادی ماڈلز کو زیادہ مفید اور محفوظ بنانے کے لیے استعمال ہوتا ہے۔ یہ ایسا مواد کرال کرتا ہے جو ان ماڈلز کی ٹریننگ میں استعمال ہو سکتا ہے، اور GPTBot کو ممنوع کرنا یہ بتاتا ہے کہ سائٹ کا مواد ٹریننگ میں استعمال نہیں ہونا چاہیے۔
اسے اجازت دینا پالیسی کا فیصلہ ہے، نظر آنے کا نہیں۔ ChatGPT سرچ ایک الگ کرالر، OAI-SearchBot، استعمال کرتی ہے، اور OpenAI دونوں سیٹنگز کو ایک دوسرے سے آزاد بتاتا ہے۔ جب دونوں کو اجازت ہو تو OpenAI کے مطابق وہ دو بار کرال سے بچنے کے لیے ایک کرال کے نتائج دونوں مقاصد کے لیے استعمال کر سکتا ہے۔
ہماری 2026-11 کی تحقیق میں robots.txt والی مقبول سائٹس میں سے 21.4% نے اسے بلاک کیا۔ ←
robots.txt ٹوکن
GPTBot
یوزر ایجنٹ string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot حقیقی وزٹس کی تصدیق کیسے کریں
OpenAI اس ایجنٹ کی استعمال کردہ IP رینجز JSON فائل کے طور پر شائع کرتا ہے۔ درخواست کے ماخذ IP کا ان رینجز سے موازنہ کریں؛ جو درخواست GPTBot کا نام لے لیکن کسی دوسرے پتے سے آئے وہ OpenAI کی نہیں۔ OpenAI کے مطابق یوزر ایجنٹ میں ورژن نمبر بدل سکتا ہے، اس لیے پوری string کی بجائے GPTBot ٹوکن سے میل دیکھیں۔
دیکھیں کہ آپ کی سائٹ اسے آنے دیتی ہے یا نہیں ←
OpenAI کے کرالرز کی وضاحت: GPTBot، OAI-SearchBot اور ChatGPT-User ←