GPTBot
GPTBot on OpenAI:n robotti sisällölle, jota voidaan käyttää sen generatiivisen tekoälyn perusmallien kouluttamiseen. Kun estät sen robots.txt-tiedostossa, kerrot OpenAI:lle, ettei sisältöäsi saa käyttää koulutukseen. Sen estäminen ei poista sivuasi ChatGPT:n hakuvastauksista, jotka riippuvat OAI-SearchBotista.
Mitä se tekee
OpenAI kertoo, että GPTBotia käytetään sen generatiivisen tekoälyn perusmallien tekemiseen hyödyllisemmiksi ja turvallisemmiksi. Se kerää sisältöä, jota voidaan käyttää näiden mallien koulutuksessa, ja GPTBotin estäminen ilmaisee, ettei sivuston sisältöä saa käyttää koulutukseen.
Sen sallimisesta päättäminen on linjaus, ei näkyvyyspäätös. ChatGPT:n haku käyttää erillistä robottia, OAI-SearchBotia, ja OpenAI dokumentoi nämä kaksi asetusta toisistaan riippumattomiksi. Kun molemmat on sallittu, OpenAI kertoo voivansa käyttää yhden läpikäynnin tuloksia kumpaankin tarkoitukseen, jotta sen ei tarvitse käydä sivua läpi kahdesti.
2026-11 tekemässämme tutkimuksessa 21.4% suosituista sivustoista, joilla on robots.txt, esti sen. →
robots.txt-tunnus
GPTBot
User agent -merkkijono
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Miten sen sallii
User-agent: GPTBot
Allow: /
Miten sen estää
User-agent: GPTBot
Disallow: /
Miten aidot käynnit varmistetaan
OpenAI julkaisee tämän agentin käyttämät IP-alueet JSON-tiedostona. Vertaa pyynnön lähde-IP:tä näihin alueisiin; pyyntö, joka väittää olevansa GPTBot mutta tulee muusta osoitteesta, ei ole OpenAI:lta. OpenAI huomauttaa, että user agentin versionumero voi muuttua, joten vertaa GPTBot-tunnusta äläkä koko merkkijonoa.
Tarkista, päästääkö sivustosi sen sisään →
OpenAI:n crawlerit selitettynä: GPTBot, OAI-SearchBot ja ChatGPT-User →