OpenAI rāpuļprogrammas: GPTBot, OAI-SearchBot un ChatGPT-User

Publicēts · Atjaunināts

Īsa atbilde

OpenAI izmanto GPTBot, lai vāktu saturu, ar ko var apmācīt tās modeļus, OAI-SearchBot, lai indeksētu lapas ChatGPT meklēšanai, un ChatGPT-User apmeklējumiem, ko lūdz cilvēks. GPTBot bloķēšana nozīmē atteikšanos tikai no apmācības. OAI-SearchBot bloķēšana izņem jūs no ChatGPT meklēšanas atbildēm. robots.txt uz ChatGPT-User var neattiekties.

Trīs dažādi user-agent no viena uzņēmuma, katram savs robots.txt marķieris, rada daudz pārpratumu. Daudzas vietnes bloķēja GPTBot, kad tā parādījās, un dažas vēlāk atklāja, ka bloķējušas arī rāpuļprogrammu, kas nosaka, vai ChatGPT var tās citēt, bieži ar plašu ugunsmūra noteikumu. Šajā rakstā katrs aģents aplūkots pēc pašas OpenAI dokumentācijas.

Šajā lapā
  1. Ko dara GPTBot?
  2. Ko dara OAI-SearchBot?
  3. Ko dara ChatGPT-User?
  4. Kas notiek, ja bloķēju katru no tām?
  5. Kādu robots.txt izmantot OpenAI rāpuļprogrammām?
  6. Kā pārliecināties, ka ugunsmūris tās ielaiž?

Ko dara GPTBot?

GPTBot vāc saturu, ko var izmantot OpenAI ģeneratīvā MI pamatmodeļu apmācībai. OpenAI dokumentācijā teikts, ka GPTBot aizliegšana norāda, ka vietnes saturu nedrīkst izmantot šo modeļu apmācībā.

Tās user-agent satur marķieri GPTBot, piemēram, Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI atzīmē, ka versijas numurs var mainīties, tāpēc salīdziniet pēc marķiera, nevis pēc visas virknes. OpenAI publicē tās IP diapazonus openai.com/gptbot.json.

Atļaut to vai nē, ir politikas lēmums. Daži izdevēji vēlas, lai viņu saturs būtu apmācības datos, citi ne. Tās bloķēšana neietekmē ChatGPT meklēšanu, jo tā ir cita rāpuļprogramma. Ja vēlāk pārdomājat, pietiek noņemt rindu Disallow; nekas nav jāreģistrē vai jāpieprasa.

Ko dara OAI-SearchBot?

OAI-SearchBot ir OpenAI meklēšanas rāpuļprogramma. Tā parāda vietnes ChatGPT meklēšanas funkcijās. OpenAI skaidri norāda, ka vietnes, kas atteikušās no OAI-SearchBot, netiks rādītas ChatGPT meklēšanas atbildēs.

Ja vēlaties, lai ChatGPT citē jūsu lapas, šī ir rāpuļprogramma, kas jāatļauj gan robots.txt, gan ugunsmūrī. Tās IP diapazoni ir publicēti openai.com/searchbot.json, kas ļauj ugunsmūrim pārbaudīt, vai pieprasījums patiešām nāk no OpenAI.

Ko dara ChatGPT-User?

ChatGPT-User nav rāpuļprogramma parastajā nozīmē. Tā ielādē lapu, kad to lūdz ChatGPT lietotājs vai Custom GPT, piemēram, kad kāds ielīmē jūsu URL tērzēšanā un lūdz kopsavilkumu. OpenAI norāda, ka to neizmanto automātiskai tīmekļa apstaigāšanai.

Šeit svarīgas divas detaļas no OpenAI dokumentācijas. Pirmkārt, tā kā šīs darbības ierosina lietotājs, robots.txt kārtulas var neattiekties. Otrkārt, ChatGPT-User neizmanto, lai noteiktu, vai saturs var parādīties meklēšanā. Meklēšanai nozīmīgs ir iestatījums OAI-SearchBot.

Kas notiek, ja bloķēju katru no tām?

OpenAI arī atzīmē: ja atļautas gan GPTBot, gan OAI-SearchBot, tā var izmantot vienas apstaigāšanas rezultātus abiem mērķiem, lai neapstaigātu divreiz.

Kādu robots.txt izmantot OpenAI rāpuļprogrammām?

Lielākajai daļai vietņu, kas vēlas parādīties ChatGPT atbildēs, jāatļauj meklēšanas rāpuļprogramma un atsevišķi jāizlemj par apmācību. Šis fails atļauj meklēšanu un atsakās no apmācības:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Ievērojiet RFC 9309 detaļu: rāpuļprogramma ievēro grupu, kas to nosauc, un ignorē grupu *. Iepriekšējā piemērā OAI-SearchBot tiktu ielaista /admin/, jo tās grupā nav rindas Disallow: /admin/. Atkārtojiet katrā nosauktajā grupā visus ceļus, kurus vēlaties paturēt privātus. OpenAI norāda, ka meklēšanas izmaiņas var stāties spēkā aptuveni 24 stundu laikā.

Kā pārliecināties, ka ugunsmūris tās ielaiž?

robots.txt tikai pauž jūsu politiku. Ugunsmūris vai CDN nosaka, ko katrs pieprasījums patiešām saņem. Pieprasiet lapu ar katras rāpuļprogrammas user-agent un salīdziniet statusa kodu un satura izmēru ar pārlūka pieprasījumu. 403, 429 vai pārbaudes lapa rāpuļprogrammai un normāla lapa pārlūkam nozīmē, ka ugunsmūris ignorē jūsu robots.txt.

AISeeWhy veic šo salīdzinājumu visiem trim OpenAI aģentiem uzreiz, atzīmē OAI-SearchBot un ChatGPT-User bloķējumus kā P1, jo tie maksā citātus, un bloķētu GPTBot norāda kā P3 politikas izvēli, nevis kļūdu.

Labojumi šai problēmai

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Kādas ir OpenAI rāpuļprogrammu user-agent virknes?

OpenAI dokumentācija norāda Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot GPTBot, Chrome līdzīgu virkni, kas beidzas ar compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot, OAI-SearchBot un Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot ChatGPT-User. Versiju numuri var mainīties, tāpēc salīdziniet pēc marķiera. IP diapazoni publicēti adresēs openai.com/gptbot.json, openai.com/searchbot.json un openai.com/chatgpt-user.json; pārbaudiet avota IP pret tiem, lai atšķirtu īstu rāpuļprogrammu no atdarinājuma.

Vai GPTBot ir tas pats, kas ChatGPT?

Nē. GPTBot ir apmācības datu rāpuļprogramma. ChatGPT meklēšana izmanto OAI-SearchBot, un lietotāju pieprasītie tiešsaistes apmeklējumi nāk no ChatGPT-User.

Vai varu atļaut ChatGPT meklēšanu, bet bloķēt apmācību?

Jā. robots.txt atļaujiet OAI-SearchBot un aizliedziet GPTBot. OpenAI šos iestatījumus dokumentē kā neatkarīgus.

Vai bloķēt OpenAI pēc IP adreses?

Bloķēšana pēc IP neļauj rāpuļprogrammai nolasīt jūsu robots.txt un apgrūtina politikas maiņu. Parasti labāk paust politiku robots.txt un izmantot publicētos IP diapazonus, lai verificētu, nevis bloķētu OpenAI rāpuļprogrammas.

Kāpēc salīdzināt pēc marķiera, nevis pēc visa user-agent?

OpenAI norāda, ka versijas numurs tās user-agent var mainīties, un tās publicētās piemēra virknes katrai rāpuļprogrammai atšķiras. Noteikumi, kas pārbauda GPTBot vai OAI-SearchBot, turpina darboties pēc atjauninājuma; noteikumi, kas pārbauda precīzu virkni, var nemanāmi pārstāt atbilst.

Avoti

Citi raksti