OpenAI rāpuļprogrammas: GPTBot, OAI-SearchBot un ChatGPT-User
OpenAI izmanto GPTBot, lai vāktu saturu, ar ko var apmācīt tās modeļus, OAI-SearchBot, lai indeksētu lapas ChatGPT meklēšanai, un ChatGPT-User apmeklējumiem, ko lūdz cilvēks. GPTBot bloķēšana nozīmē atteikšanos tikai no apmācības. OAI-SearchBot bloķēšana izņem jūs no ChatGPT meklēšanas atbildēm. robots.txt uz ChatGPT-User var neattiekties.
Trīs dažādi user-agent no viena uzņēmuma, katram savs robots.txt marķieris, rada daudz pārpratumu. Daudzas vietnes bloķēja GPTBot, kad tā parādījās, un dažas vēlāk atklāja, ka bloķējušas arī rāpuļprogrammu, kas nosaka, vai ChatGPT var tās citēt, bieži ar plašu ugunsmūra noteikumu. Šajā rakstā katrs aģents aplūkots pēc pašas OpenAI dokumentācijas.
Šajā lapā
Ko dara GPTBot?
GPTBot vāc saturu, ko var izmantot OpenAI ģeneratīvā MI pamatmodeļu apmācībai. OpenAI dokumentācijā teikts, ka GPTBot aizliegšana norāda, ka vietnes saturu nedrīkst izmantot šo modeļu apmācībā.
Tās user-agent satur marķieri GPTBot, piemēram, Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI atzīmē, ka versijas numurs var mainīties, tāpēc salīdziniet pēc marķiera, nevis pēc visas virknes. OpenAI publicē tās IP diapazonus openai.com/gptbot.json.
Atļaut to vai nē, ir politikas lēmums. Daži izdevēji vēlas, lai viņu saturs būtu apmācības datos, citi ne. Tās bloķēšana neietekmē ChatGPT meklēšanu, jo tā ir cita rāpuļprogramma. Ja vēlāk pārdomājat, pietiek noņemt rindu Disallow; nekas nav jāreģistrē vai jāpieprasa.
Ko dara OAI-SearchBot?
OAI-SearchBot ir OpenAI meklēšanas rāpuļprogramma. Tā parāda vietnes ChatGPT meklēšanas funkcijās. OpenAI skaidri norāda, ka vietnes, kas atteikušās no OAI-SearchBot, netiks rādītas ChatGPT meklēšanas atbildēs.
Ja vēlaties, lai ChatGPT citē jūsu lapas, šī ir rāpuļprogramma, kas jāatļauj gan robots.txt, gan ugunsmūrī. Tās IP diapazoni ir publicēti openai.com/searchbot.json, kas ļauj ugunsmūrim pārbaudīt, vai pieprasījums patiešām nāk no OpenAI.
Ko dara ChatGPT-User?
ChatGPT-User nav rāpuļprogramma parastajā nozīmē. Tā ielādē lapu, kad to lūdz ChatGPT lietotājs vai Custom GPT, piemēram, kad kāds ielīmē jūsu URL tērzēšanā un lūdz kopsavilkumu. OpenAI norāda, ka to neizmanto automātiskai tīmekļa apstaigāšanai.
Šeit svarīgas divas detaļas no OpenAI dokumentācijas. Pirmkārt, tā kā šīs darbības ierosina lietotājs, robots.txt kārtulas var neattiekties. Otrkārt, ChatGPT-User neizmanto, lai noteiktu, vai saturs var parādīties meklēšanā. Meklēšanai nozīmīgs ir iestatījums OAI-SearchBot.
Kas notiek, ja bloķēju katru no tām?
- Bloķēt
GPTBot: jūsu saturs tiek atzīmēts kā neizmantojams apmācībai. ChatGPT meklēšana joprojām var jūs rādīt un citēt, jaOAI-SearchBotir atļauta. - Bloķēt
OAI-SearchBot: jūsu lapas netiks rādītas ChatGPT meklēšanas atbildēs. Apmācību atsevišķi kontrolēGPTBot. - Bloķēt
ChatGPT-Userrobots.txt: OpenAI norāda, ka robots.txt uz šiem apmeklējumiem var neattiekties, tāpēc efekts nav garantēts. Bloķēšana ugunsmūrī aptur ielādi, un lietotāji, kas ielīmē jūsu saiti, jūsu satura vietā saņem kļūdu. - Bloķēt visas trīs ugunsmūrī: ChatGPT nevar ne indeksēt, ne ielādēt jūsu lapas, tāpēc tai nav ko no jums citēt.
- Atļaut visas trīs: jūsu lapas var indeksēt meklēšanai, ielādēt pēc pieprasījuma un, ar
GPTBotstarpniecību, izmantot apmācībai.
OpenAI arī atzīmē: ja atļautas gan GPTBot, gan OAI-SearchBot, tā var izmantot vienas apstaigāšanas rezultātus abiem mērķiem, lai neapstaigātu divreiz.
Kādu robots.txt izmantot OpenAI rāpuļprogrammām?
Lielākajai daļai vietņu, kas vēlas parādīties ChatGPT atbildēs, jāatļauj meklēšanas rāpuļprogramma un atsevišķi jāizlemj par apmācību. Šis fails atļauj meklēšanu un atsakās no apmācības:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Ievērojiet RFC 9309 detaļu: rāpuļprogramma ievēro grupu, kas to nosauc, un ignorē grupu *. Iepriekšējā piemērā OAI-SearchBot tiktu ielaista /admin/, jo tās grupā nav rindas Disallow: /admin/. Atkārtojiet katrā nosauktajā grupā visus ceļus, kurus vēlaties paturēt privātus. OpenAI norāda, ka meklēšanas izmaiņas var stāties spēkā aptuveni 24 stundu laikā.
Kā pārliecināties, ka ugunsmūris tās ielaiž?
robots.txt tikai pauž jūsu politiku. Ugunsmūris vai CDN nosaka, ko katrs pieprasījums patiešām saņem. Pieprasiet lapu ar katras rāpuļprogrammas user-agent un salīdziniet statusa kodu un satura izmēru ar pārlūka pieprasījumu. 403, 429 vai pārbaudes lapa rāpuļprogrammai un normāla lapa pārlūkam nozīmē, ka ugunsmūris ignorē jūsu robots.txt.
AISeeWhy veic šo salīdzinājumu visiem trim OpenAI aģentiem uzreiz, atzīmē OAI-SearchBot un ChatGPT-User bloķējumus kā P1, jo tie maksā citātus, un bloķētu GPTBot norāda kā P3 politikas izvēli, nevis kļūdu.
Labojumi šai problēmai
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Kādas ir OpenAI rāpuļprogrammu user-agent virknes?
OpenAI dokumentācija norāda Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot GPTBot, Chrome līdzīgu virkni, kas beidzas ar compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot, OAI-SearchBot un Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot ChatGPT-User. Versiju numuri var mainīties, tāpēc salīdziniet pēc marķiera. IP diapazoni publicēti adresēs openai.com/gptbot.json, openai.com/searchbot.json un openai.com/chatgpt-user.json; pārbaudiet avota IP pret tiem, lai atšķirtu īstu rāpuļprogrammu no atdarinājuma.
Vai GPTBot ir tas pats, kas ChatGPT?
Nē. GPTBot ir apmācības datu rāpuļprogramma. ChatGPT meklēšana izmanto OAI-SearchBot, un lietotāju pieprasītie tiešsaistes apmeklējumi nāk no ChatGPT-User.
Vai varu atļaut ChatGPT meklēšanu, bet bloķēt apmācību?
Jā. robots.txt atļaujiet OAI-SearchBot un aizliedziet GPTBot. OpenAI šos iestatījumus dokumentē kā neatkarīgus.
Vai bloķēt OpenAI pēc IP adreses?
Bloķēšana pēc IP neļauj rāpuļprogrammai nolasīt jūsu robots.txt un apgrūtina politikas maiņu. Parasti labāk paust politiku robots.txt un izmantot publicētos IP diapazonus, lai verificētu, nevis bloķētu OpenAI rāpuļprogrammas.
Kāpēc salīdzināt pēc marķiera, nevis pēc visa user-agent?
OpenAI norāda, ka versijas numurs tās user-agent var mainīties, un tās publicētās piemēra virknes katrai rāpuļprogrammai atšķiras. Noteikumi, kas pārbauda GPTBot vai OAI-SearchBot, turpina darboties pēc atjauninājuma; noteikumi, kas pārbauda precīzu virkni, var nemanāmi pārstāt atbilst.