GPTBot
GPTBot је OpenAI краулер за садржај који може да се користи за обуку његових генеративних AI основних модела. Забрана у robots.txt говори OpenAI-ју да ваш садржај не користи за обуку. Блокирање вас не уклања из одговора ChatGPT претраге, који зависе од OAI-SearchBot-а.
Како да га дозволите
User-agent: GPTBot
Allow: / Како да га блокирате
User-agent: GPTBot
Disallow: / Шта ради
OpenAI каже да се GPTBot користи да би његови генеративни AI основни модели били кориснији и безбеднији. Пописује садржај који може да се користи за обуку тих модела, а забрана GPTBot-а означава да садржај сајта не треба користити за обуку.
Да ли да га дозволите је одлука о политици, а не о видљивости. ChatGPT претрага користи засебан краулер, OAI-SearchBot, а OpenAI та два подешавања документује као независна. Када су оба дозвољена, OpenAI каже да резултате једног пописивања може да користи за обе намене, да не би пописивао двапут.
У нашој студији из 2026-11 блокирало га је 21.4% популарних сајтова са robots.txt. →
robots.txt токен
GPTBot
User-agent стринг
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot Како да проверите праве посете
OpenAI објављује IP опсеге које овај агент користи као JSON фајл. Упоредите изворни IP захтева са тим опсезима; захтев који наводи GPTBot, а долази са друге адресе, није од OpenAI-ја. OpenAI напомиње да се број верзије у user agent-у може променити, па поредите токен GPTBot, а не цео стринг.
Проверите да ли га ваш сајт пушта →
OpenAI краулери објашњени: GPTBot, OAI-SearchBot и ChatGPT-User →