OpenAI robotai: GPTBot, OAI-SearchBot ir ChatGPT-User
OpenAI naudoja GPTBot turiniui, kuriuo gali būti mokomi jos modeliai, rinkti, OAI-SearchBot puslapiams ChatGPT paieškai indeksuoti, o ChatGPT-User – apsilankymams, kurių paprašo žmogus. GPTBot blokavimas reiškia tik mokymo atsisakymą. OAI-SearchBot blokavimas pašalina jus iš ChatGPT paieškos atsakymų. ChatGPT-User atveju robots.txt gali negalioti.
Trys skirtingi vienos įmonės user agent, kiekvienas su savo robots.txt žymeniu, sukelia daug painiavos. Daug svetainių užblokavo GPTBot, kai jis pasirodė, o kai kurios vėliau pastebėjo, kad užblokavo ir robotą, lemiantį, ar ChatGPT gali jas cituoti, dažnai per plačią ugniasienės taisyklę. Šiame straipsnyje aptariamas kiekvienas agentas remiantis paties OpenAI dokumentacija.
Šiame puslapyje
Ką daro GPTBot?
GPTBot nuskaito turinį, kuris gali būti naudojamas OpenAI generatyvinio DI baziniams modeliams mokyti. OpenAI dokumentacijoje rašoma, kad GPTBot draudimas rodo, jog svetainės turinys neturėtų būti naudojamas tiems modeliams mokyti.
Jo user agent yra žymuo GPTBot, pavyzdžiui, Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI pažymi, kad versijos numeris gali keistis, todėl tikrinkite žymenį, o ne visą eilutę. OpenAI skelbia savo IP intervalus adresu openai.com/gptbot.json.
Ar jį įleisti – politikos sprendimas. Vieni leidėjai nori, kad jų turinys būtų mokymo duomenyse, kiti – ne. Jo blokavimas ChatGPT paieškai įtakos neturi, nes tai kitas robotas. Jei vėliau persigalvosite, pakanka pašalinti Disallow eilutę; nieko registruoti ar prašyti nereikia.
Ką daro OAI-SearchBot?
OAI-SearchBot yra OpenAI paieškos robotas. Jis pateikia svetaines ChatGPT paieškos funkcijose. OpenAI aiškiai teigia, kad svetainės, atsisakiusios OAI-SearchBot, nebus rodomos ChatGPT paieškos atsakymuose.
Jei norite, kad ChatGPT cituotų jūsų puslapius, būtent šį robotą reikia įleisti – ir robots.txt, ir ugniasienėje. Jo IP intervalai skelbiami adresu openai.com/searchbot.json, todėl ugniasienė gali patvirtinti, kad užklausa tikrai ateina iš OpenAI.
Ką daro ChatGPT-User?
ChatGPT-User nėra robotas įprasta prasme. Jis atsisiunčia puslapį, kai jo paprašo ChatGPT naudotojas ar Custom GPT, pvz., kai kas nors įklijuoja jūsų URL į pokalbį ir paprašo santraukos. OpenAI teigia, kad jis nenaudojamas automatiniam interneto nuskaitymui.
Čia svarbios dvi OpenAI dokumentacijos detalės. Pirma, kadangi šiuos veiksmus inicijuoja naudotojas, robots.txt taisyklės gali negalioti. Antra, ChatGPT-User nenaudojamas sprendžiant, ar turinys gali pasirodyti paieškoje. Paieškai svarbus OAI-SearchBot nustatymas.
Kas nutinka užblokavus kiekvieną iš jų?
- Užblokuojate
GPTBot: jūsų turinys pažymimas kaip nenaudotinas mokymui. ChatGPT paieška vis tiek gali jus rodyti ir cituoti, jeiOAI-SearchBotįleistas. - Užblokuojate
OAI-SearchBot: jūsų puslapiai nebus rodomi ChatGPT paieškos atsakymuose. Mokymą atskirai valdoGPTBot. - Užblokuojate
ChatGPT-Userrobots.txt: OpenAI teigia, kad robots.txt šiems apsilankymams gali negalioti, todėl poveikis negarantuotas. Blokavimas ugniasienėje sustabdo atsisiuntimą, o naudotojai, įklijavę jūsų nuorodą, vietoj turinio gauna klaidą. - Užblokuojate visus tris ugniasienėje: ChatGPT negali nei indeksuoti, nei atsisiųsti jūsų puslapių, todėl neturi ko iš jūsų cituoti.
- Įleidžiate visus tris: jūsų puslapiai gali būti indeksuojami paieškai, atsisiunčiami pagal prašymą ir per
GPTBotnaudojami mokymui.
OpenAI taip pat pažymi, kad kai įleisti ir GPTBot, ir OAI-SearchBot, vieno nuskaitymo rezultatus ji gali naudoti abiem tikslams, kad nereikėtų nuskaityti dukart.
Kokį robots.txt naudoti OpenAI robotams?
Daugumai svetainių, norinčių būti ChatGPT atsakymuose, įleiskite paieškos robotą, o dėl mokymo spręskite atskirai. Šis failas leidžia paiešką ir atsisako mokymo:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Atkreipkite dėmesį į RFC 9309 detalę: robotas vadovaujasi jį įvardijančia grupe ir nepaiso grupės *. Pavyzdyje aukščiau OAI-SearchBot būtų įleistas į /admin/, nes jo grupėje nėra eilutės Disallow: /admin/. Kelius, kuriuos norite išlaikyti privačius, pakartokite kiekvienoje pavadintoje grupėje. OpenAI teigia, kad paieškos pakeitimai gali įsigalioti maždaug per 24 valandas.
Kaip įsitikinti, kad ugniasienė juos praleidžia?
robots.txt tik išreiškia jūsų politiką. Ką kiekviena užklausa iš tikrųjų gauna, lemia ugniasienė ar CDN. Paprašykite puslapio su kiekvieno roboto user agent ir palyginkite būsenos kodą bei turinio dydį su naršyklės užklausa. 403, 429 ar patikrinimo puslapis robotui ir įprastas puslapis naršyklei reiškia, kad ugniasienė nepaiso jūsų robots.txt.
AISeeWhy atlieka šį palyginimą visiems trims OpenAI agentams iš karto, OAI-SearchBot ir ChatGPT-User blokavimą žymi kaip P1, nes jis kainuoja citatas, o užblokuotą GPTBot pateikia kaip P3 politikos pasirinkimą, o ne klaidą.
Šios problemos pataisymai
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Kokios yra OpenAI robotų user agent eilutės?
OpenAI dokumentacijoje GPTBot nurodyta Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot – į Chrome panaši eilutė, kuri baigiasi compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot, o ChatGPT-User – Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot. Versijų numeriai gali keistis, todėl lyginkite pagal žymenį. IP intervalai skelbiami openai.com/gptbot.json, openai.com/searchbot.json ir openai.com/chatgpt-user.json; patikrinkite šaltinio IP pagal juos, kad atskirtumėte tikrą robotą nuo imitacijos.
Ar GPTBot yra tas pats, kas ChatGPT?
Ne. GPTBot yra mokymo duomenų robotas. ChatGPT paieška naudoja OAI-SearchBot, o naudotojų prašomi apsilankymai realiuoju laiku ateina iš ChatGPT-User.
Ar galiu leisti ChatGPT paiešką, bet blokuoti mokymą?
Taip. robots.txt įleiskite OAI-SearchBot ir uždrauskite GPTBot. OpenAI šiuos du nustatymus dokumentuoja kaip nepriklausomus.
Ar blokuoti OpenAI pagal IP adresą?
Blokavimas pagal IP neleidžia robotui perskaityti jūsų robots.txt ir apsunkina politikos keitimą. Paprastai geriau politiką išreikšti robots.txt, o paskelbtus IP intervalus naudoti OpenAI robotams patvirtinti, o ne blokuoti.
Kodėl tikrinti žymenį, o ne visą user agent?
OpenAI teigia, kad jos user agent versijos numeris gali keistis, o jos skelbiamos pavyzdinės eilutės skiriasi priklausomai nuo roboto. Taisyklės, tikrinančios GPTBot ar OAI-SearchBot, veikia ir po atnaujinimo; taisyklės, tikrinančios tikslią eilutę, gali nepastebimai nustoti veikti.