OpenAI robotid lahti seletatud: GPTBot, OAI-SearchBot ja ChatGPT-User

Avaldatud · Uuendatud

Lühike vastus

OpenAI kasutab GPTBot-i sisu kogumiseks, millel võidakse mudeleid treenida, OAI-SearchBot-i lehtede indekseerimiseks ChatGPT otsingu jaoks ja ChatGPT-User-it külastusteks, mida inimene palub. GPTBot-i blokeerimine loobub ainult treenimisest. OAI-SearchBot-i blokeerimine eemaldab sind ChatGPT otsinguvastustest. ChatGPT-User-ile ei pruugi robots.txt kehtida.

Kolm erinevat user agent'it ühelt ettevõttelt, igaühel oma robots.txt tunnus, tekitavad palju segadust. Paljud saidid blokeerisid GPTBot-i, kui see ilmus, ja mõned avastasid hiljem, et olid blokeerinud ka roboti, mis otsustab, kas ChatGPT saab neile viidata, sageli laia tulemüürireegliga. See artikkel käib iga agendi läbi OpenAI enda dokumentatsiooni põhjal.

Sellel lehel
  1. Mida GPTBot teeb?
  2. Mida OAI-SearchBot teeb?
  3. Mida ChatGPT-User teeb?
  4. Mis juhtub, kui blokeerin igaühe neist?
  5. Millist robots.txt-d OpenAI robotite jaoks kasutada?
  6. Kuidas veenduda, et tulemüür need läbi laseb?

Mida GPTBot teeb?

GPTBot roomab sisu, mida võidakse kasutada OpenAI generatiivsete AI alusmudelite treenimiseks. OpenAI dokumentatsioon ütleb, et GPTBot-i keelamine näitab, et saidi sisu ei tohi nende mudelite treenimisel kasutada.

Selle user agent sisaldab tunnust GPTBot, näiteks Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI märgib, et versiooninumber võib muutuda, seega sobita tunnuse, mitte kogu stringi järgi. OpenAI avaldab oma IP-vahemikud aadressil openai.com/gptbot.json.

Selle lubamine on poliitika otsus. Mõned väljaandjad tahavad oma sisu treeningandmetesse, teised mitte. Selle blokeerimine ei mõjuta ChatGPT otsingut, sest see on teine robot. Kui hiljem meelt muudad, piisab Disallow rea eemaldamisest; midagi pole vaja registreerida ega taotleda.

Mida OAI-SearchBot teeb?

OAI-SearchBot on OpenAI otsingurobot. See toob veebisaidid esile ChatGPT otsingufunktsioonides. OpenAI ütleb selgelt, et saite, mis on OAI-SearchBot-ist loobunud, ChatGPT otsinguvastustes ei näidata.

Kui soovid, et ChatGPT sinu lehtedele viitaks, tuleb lubada just see robot, nii robots.txt-s kui ka tulemüüris. Selle IP-vahemikud on avaldatud aadressil openai.com/searchbot.json, mis võimaldab tulemüüril kinnitada, et päring tuleb tõesti OpenAI-lt.

Mida ChatGPT-User teeb?

ChatGPT-User pole tavalises mõttes robot. See laadib lehe, kui ChatGPT kasutaja või Custom GPT seda palub, näiteks kui keegi kleebib sinu URL-i vestlusesse ja palub kokkuvõtet. OpenAI ütleb, et seda ei kasutata veebi automaatseks roomamiseks.

Siin on olulised kaks detaili OpenAI dokumentatsioonist. Esiteks, kuna need tegevused algatab kasutaja, ei pruugi robots.txt reeglid kehtida. Teiseks ei kasutata ChatGPT-User-it otsustamiseks, kas sisu tohib otsingus ilmuda. Otsingu jaoks loeb seade OAI-SearchBot.

Mis juhtub, kui blokeerin igaühe neist?

OpenAI märgib ka, et kui nii GPTBot kui ka OAI-SearchBot on lubatud, võib ta topeltroomamise vältimiseks kasutada ühe roomamise tulemusi mõlemaks otstarbeks.

Millist robots.txt-d OpenAI robotite jaoks kasutada?

Enamikule saitidele, mis tahavad ChatGPT vastustes ilmuda: luba otsingurobot ja otsusta treenimise üle eraldi. See fail lubab otsingu ja loobub treenimisest:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Pane tähele üht RFC 9309 detaili: robot järgib gruppi, mis teda nimetab, ja ignoreerib * gruppi. Ülaltoodud näites lubataks OAI-SearchBot kausta /admin/, sest tema enda grupis pole rida Disallow: /admin/. Korda kõiki teid, mida tahad privaatsena hoida, igas nimega grupis. OpenAI ütleb, et otsingu muudatuste rakendumine võib võtta umbes 24 tundi.

Kuidas veenduda, et tulemüür need läbi laseb?

robots.txt ainult väljendab sinu poliitikat. Tulemüür või CDN otsustab, mida iga päring tegelikult saab. Küsi lehte iga roboti user agent'iga ning võrdle olekukoodi ja sisu suurust brauseripäringuga. 403, 429 või kontrollileht robotile ja tavaline leht brauserile tähendab, et tulemüür kirjutab sinu robots.txt üle.

AISeeWhy teeb selle võrdluse kõigi kolme OpenAI agendiga korraga, märgib OAI-SearchBot-i ja ChatGPT-User-i blokeeringud tasemega P1, sest need maksavad viiteid, ning loetleb blokeeritud GPTBot-i P3 poliitikavalikuna, mitte veana.

Selle probleemi parandused

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Millised on OpenAI robotite user agent'i stringid?

OpenAI dokumentatsioon annab GPTBoti jaoks stringi Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBoti jaoks Chrome'i-laadse stringi, mis lõpeb osaga compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot, ja ChatGPT-Useri jaoks stringi Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot. Versiooninumbrid võivad muutuda, nii et võrdle tunnuse järgi. IP-vahemikud on avaldatud aadressidel openai.com/gptbot.json, openai.com/searchbot.json ja openai.com/chatgpt-user.json; kontrolli lähte-IP-d nende vastu, et eristada päris robotit jäljendajast.

Kas GPTBot on sama mis ChatGPT?

Ei. GPTBot on treeningandmete robot. ChatGPT otsing kasutab OAI-SearchBot-i ja kasutajate palutud otsekülastused tulevad ChatGPT-User-ilt.

Kas saan lubada ChatGPT otsingu, aga blokeerida treenimise?

Jah. Luba robots.txt-s OAI-SearchBot ja keela GPTBot. OpenAI dokumenteerib need kaks seadet sõltumatutena.

Kas peaksin OpenAI IP-aadressi järgi blokeerima?

IP järgi blokeerimine takistab robotil sinu robots.txt-d lugemast ja teeb poliitika muutmise raskemaks. Tavaliselt on parem väljendada poliitika robots.txt-s ja kasutada avaldatud IP-vahemikke OpenAI robotite kinnitamiseks, mitte blokeerimiseks.

Miks sobitada tunnuse, mitte kogu user agent'i järgi?

OpenAI ütleb, et tema user agent'ite versiooninumber võib muutuda, ja tema avaldatud näidisstringid erinevad robotite vahel. Reeglid, mis sobituvad GPTBot-i või OAI-SearchBot-iga, töötavad ka pärast uuendust; täpse stringiga sobituvad reeglid võivad vaikselt sobitumast lakata.

Allikad

Veel artikleid