Pajki OpenAI, razloženo: GPTBot, OAI-SearchBot in ChatGPT-User
OpenAI uporablja GPTBot za zbiranje vsebine, ki lahko služi za učenje njegovih modelov, OAI-SearchBot za indeksiranje strani za iskanje ChatGPT in ChatGPT-User za obiske, ki jih zahteva oseba. Blokiranje GPTBot zavrne samo učenje. Blokiranje OAI-SearchBot vas odstrani iz odgovorov iskanja ChatGPT. Za ChatGPT-User robots.txt morda ne velja.
Trije različni user agenti istega podjetja, vsak s svojim žetonom robots.txt, povzročajo veliko zmede. Mnoga mesta so GPTBot blokirala, ko se je pojavil, nekatera pa so pozneje ugotovila, da so blokirala tudi pajka, ki odloča, ali jih ChatGPT lahko citira, pogosto s širokim pravilom požarnega zidu. Ta članek gre skozi vsakega agenta po OpenAI-jevi lastni dokumentaciji.
Na tej strani
Kaj počne GPTBot?
GPTBot pajka vsebino, ki se lahko uporabi za učenje OpenAI-jevih temeljnih modelov generativne UI. OpenAI-jeva dokumentacija pravi, da prepoved GPTBot pomeni, da se vsebina mesta ne sme uporabljati za učenje teh modelov.
Njegov user agent vsebuje žeton GPTBot, na primer Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI opozarja, da se številka različice lahko spremeni, zato ujemajte žeton, ne celotnega niza. OpenAI svoje obsege IP objavlja na openai.com/gptbot.json.
Ali ga dovoliti, je odločitev politike. Nekateri založniki želijo svojo vsebino v podatkih za učenje, drugi ne. Njegovo blokiranje ne vpliva na iskanje ChatGPT, ker gre za drugega pajka. Če si pozneje premislite, zadostuje, da odstranite vrstico Disallow; ničesar vam ni treba registrirati ali zahtevati.
Kaj počne OAI-SearchBot?
OAI-SearchBot je OpenAI-jev pajek za iskanje. Spletna mesta prikazuje v funkcijah iskanja ChatGPT. OpenAI jasno navaja, da mesta, ki so zavrnila OAI-SearchBot, ne bodo prikazana v odgovorih iskanja ChatGPT.
Če želite, da ChatGPT citira vaše strani, morate dovoliti prav tega pajka, tako v robots.txt kot v požarnem zidu. Njegovi obsegi IP so objavljeni na openai.com/searchbot.json, kar požarnemu zidu omogoča preveriti, ali zahteva res prihaja od OpenAI.
Kaj počne ChatGPT-User?
ChatGPT-User ni pajek v običajnem smislu. Stran prenese, ko to zahteva uporabnik ChatGPT ali Custom GPT, na primer ko nekdo vaš URL prilepi v klepet in zahteva povzetek. OpenAI pravi, da se ne uporablja za samodejno pajkanje spleta.
Tu sta pomembni dve podrobnosti iz OpenAI-jeve dokumentacije. Prvič, ker ta dejanja sproži uporabnik, pravila robots.txt morda ne veljajo. Drugič, ChatGPT-User se ne uporablja za odločanje, ali se vsebina lahko pojavi v iskanju. Za iskanje šteje nastavitev za OAI-SearchBot.
Kaj se zgodi, ko blokiram posameznega?
- Blokirate
GPTBot: vaša vsebina je označena kot neprimerna za učenje. Iskanje ChatGPT vas še vedno lahko prikaže in citira, če jeOAI-SearchBotdovoljen. - Blokirate
OAI-SearchBot: vaše strani ne bodo prikazane v odgovorih iskanja ChatGPT. Učenje se nadzoruje ločeno zGPTBot. - Blokirate
ChatGPT-Userv robots.txt: OpenAI pravi, da robots.txt za te obiske morda ne velja, zato učinek ni zagotovljen. Blokada v požarnem zidu prenos ustavi, uporabniki, ki prilepijo vašo povezavo, pa namesto vaše vsebine dobijo napako. - Blokirate vse tri v požarnem zidu: ChatGPT vaših strani ne more niti indeksirati niti prenesti, zato nima česa citirati.
- Dovolite vse tri: vaše strani se lahko indeksirajo za iskanje, prenesejo na zahtevo in prek
GPTBotuporabijo za učenje.
OpenAI opozarja tudi, da lahko, ko sta dovoljena tako GPTBot kot OAI-SearchBot, rezultate enega pajkanja uporabi za oba namena, da se izogne dvojnemu pajkanju.
Kakšen robots.txt naj uporabim za pajke OpenAI?
Za večino mest, ki se želijo pojaviti v odgovorih ChatGPT, dovolite pajka za iskanje, o učenju pa se odločite posebej. Ta datoteka dovoli iskanje in zavrne učenje:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Upoštevajte podrobnost RFC 9309: pajek sledi skupini, ki ga navaja, in prezre skupino *. V zgornjem primeru bi bil OAI-SearchBot dovoljen v /admin/, ker njegova skupina nima vrstice Disallow: /admin/. Vse poti, ki jih želite ohraniti zasebne, ponovite v vsaki poimenovani skupini. OpenAI pravi, da lahko spremembe za iskanje začnejo veljati v približno 24 urah.
Kako potrdim, da jih požarni zid spusti skozi?
robots.txt samo izraža vašo politiko. Kaj posamezna zahteva dejansko dobi, odloča požarni zid ali CDN. Stran zahtevajte z user agentom vsakega pajka ter statusno kodo in velikost vsebine primerjajte z zahtevo brskalnika. Napaka 403, 429 ali stran z izzivom za pajka ob normalni strani za brskalnik pomeni, da požarni zid preglasi vaš robots.txt.
AISeeWhy to primerjavo izvede za vse tri agente OpenAI hkrati, blokade OAI-SearchBot in ChatGPT-User označi s P1, ker stanejo citate, blokiran GPTBot pa navede kot odločitev politike s P3 in ne kot napako.
Popravki za to težavo
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Kateri so nizi user agent OpenAI-jevih pajkov?
OpenAI-jeva dokumentacija navaja Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot za GPTBot, niz v slogu Chroma, ki se konča s compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot, za OAI-SearchBot in Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot za ChatGPT-User. Številke različic se lahko spremenijo, zato ujemajte po žetonu. Obsegi IP so objavljeni na openai.com/gptbot.json, openai.com/searchbot.json in openai.com/chatgpt-user.json; izvorni IP preverite proti njim, da ločite pravega pajka od posnemovalca.
Ali je GPTBot isto kot ChatGPT?
Ne. GPTBot je pajek za podatke za učenje. Iskanje ChatGPT uporablja OAI-SearchBot, obiski v živo, ki jih zahtevajo uporabniki, pa prihajajo od ChatGPT-User.
Ali lahko dovolim iskanje ChatGPT, učenje pa blokiram?
Da. V robots.txt dovolite OAI-SearchBot in prepovejte GPTBot. OpenAI ti nastavitvi dokumentira kot neodvisni.
Ali naj OpenAI blokiram po naslovu IP?
Blokiranje po IP pajku prepreči branje vašega robots.txt in otežuje spreminjanje politike. Običajno je bolje politiko izraziti v robots.txt, objavljene obsege IP pa uporabiti za preverjanje pajkov OpenAI, ne za njihovo blokiranje.
Zakaj ujemati žeton in ne celotnega user agenta?
OpenAI pravi, da se številka različice v njegovih user agentih lahko spremeni, primeri nizov, ki jih objavlja, pa se med pajki razlikujejo. Pravila, ki ujemajo GPTBot ali OAI-SearchBot, delujejo tudi po posodobitvi; pravila, ki ujemajo natančen niz, lahko neopazno prenehajo delovati.