GPTBot
GPTBot — OpenAIʼning generativ AI asosiy modellarini oʻqitishda foydalanilishi mumkin boʻlgan kontent uchun krauleri. Uni robots.txt da taqiqlash OpenAIʼga kontentingizdan oʻqitish uchun foydalanmaslikni bildiradi. Uni bloklash sizni ChatGPT qidiruv javoblaridan olib tashlamaydi, ular OAI-SearchBotʼga bogʻliq.
Unga qanday ruxsat berish mumkin
User-agent: GPTBot
Allow: / Uni qanday bloklash mumkin
User-agent: GPTBot
Disallow: / U nima qiladi
OpenAI aytishicha, GPTBot uning generativ AI asosiy modellarini foydaliroq va xavfsizroq qilish uchun ishlatiladi. U shu modellarni oʻqitishda foydalanilishi mumkin boʻlgan kontentni skanerlaydi va GPTBotʼni taqiqlash sayt kontentidan oʻqitishda foydalanmaslik kerakligini bildiradi.
Unga ruxsat berish-bermaslik koʻrinish emas, siyosat masalasi. ChatGPT qidiruvi alohida krauler — OAI-SearchBotʼdan foydalanadi va OpenAI bu ikki sozlamani bir-biridan mustaqil deb hujjatlashtiradi. Ikkalasiga ham ruxsat berilganda, OpenAI ikki marta skanerlamaslik uchun bitta skanerlash natijalaridan ikkala maqsadda foydalanishi mumkinligini aytadi.
Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 21.4% qismi uni bloklagan. →
robots.txt tokeni
GPTBot
User-agent satri
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot Haqiqiy tashriflarni qanday tasdiqlash mumkin
OpenAI bu agent foydalanadigan IP diapazonlarini JSON fayl sifatida eʼlon qiladi. Soʻrovning manba IPʼsini shu diapazonlar bilan solishtiring; oʻzini GPTBot deb atagan, lekin boshqa manzildan kelgan soʻrov OpenAIʼdan emas. OpenAI user agentdagi versiya raqami oʻzgarishi mumkinligini taʼkidlaydi, shuning uchun toʻliq satrni emas, GPTBot tokenini solishtiring.