Crawler za OpenAI zimeelezwa: GPTBot, OAI-SearchBot na ChatGPT-User
OpenAI hutumia GPTBot kukusanya maudhui ambayo yanaweza kufunza miundo yake, OAI-SearchBot kuorodhesha kurasa kwa ajili ya utafutaji wa ChatGPT, na ChatGPT-User kwa ziara ambazo mtu ameomba. Kuzuia GPTBot kunakuondoa kwenye mafunzo pekee. Kuzuia OAI-SearchBot kunakuondoa kwenye majibu ya utafutaji ya ChatGPT. Huenda robots.txt isihusu ChatGPT-User.
User agent tatu tofauti kutoka kampuni moja, kila moja ikiwa na tokeni yake ya robots.txt, husababisha mkanganyiko mwingi. Tovuti nyingi zilizuia GPTBot ilipoanza kuonekana, na baadhi baadaye ziligundua kwamba pia zilikuwa zimezuia crawler inayoamua kama ChatGPT inaweza kuzinukuu, mara nyingi kupitia sheria pana ya firewall. Makala hii inapitia kila wakala kwa kutumia nyaraka za OpenAI zenyewe.
Kwenye ukurasa huu
GPTBot hufanya nini?
GPTBot hupitia maudhui ambayo yanaweza kutumika kufunza miundo ya msingi ya AI zalishi ya OpenAI. Nyaraka za OpenAI zinasema kwamba kuzuia GPTBot kunaonyesha kuwa maudhui ya tovuti hayapaswi kutumika kufunza miundo hiyo.
User agent yake ina tokeni GPTBot, kwa mfano Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI inabainisha kwamba namba ya toleo inaweza kubadilika, kwa hivyo linganisha kwa tokeni, si kwa mfuatano mzima. OpenAI huchapisha masafa yake ya IP kwenye openai.com/gptbot.json.
Kuiruhusu au la ni uamuzi wa sera. Baadhi ya wachapishaji wanataka maudhui yao yawe katika data ya mafunzo, wengine hawataki. Kuizuia hakuathiri utafutaji wa ChatGPT, kwa sababu huo ni kazi ya crawler nyingine. Ukibadili mawazo baadaye, kuondoa mstari wa Disallow kunatosha; hakuna cha kusajili wala kuomba.
OAI-SearchBot hufanya nini?
OAI-SearchBot ni crawler ya utafutaji ya OpenAI. Huonyesha tovuti katika vipengele vya utafutaji vya ChatGPT. OpenAI inasema waziwazi kwamba tovuti zilizojiondoa kwa OAI-SearchBot hazitaonyeshwa katika majibu ya utafutaji ya ChatGPT.
Ukitaka ChatGPT inukuu kurasa zako, hii ndiyo crawler ya kuruhusu, kwenye robots.txt na kwenye firewall yako. Masafa yake ya IP yamechapishwa kwenye openai.com/searchbot.json, jambo linaloiwezesha firewall kuthibitisha kwamba ombi kweli linatoka OpenAI.
ChatGPT-User hufanya nini?
ChatGPT-User si crawler kwa maana ya kawaida. Hupakua ukurasa mtumiaji wa ChatGPT au Custom GPT anapouomba, kwa mfano mtu anapobandika URL yako kwenye mazungumzo na kuomba muhtasari. OpenAI inasema haitumiki kupitia wavuti kiotomatiki.
Mambo mawili kutoka kwenye nyaraka za OpenAI ni muhimu hapa. Kwanza, kwa kuwa vitendo hivi huanzishwa na mtumiaji, huenda sheria za robots.txt zisihusike. Pili, ChatGPT-User haitumiki kuamua kama maudhui yanaweza kuonekana katika utafutaji. Kwa utafutaji, mpangilio unaohesabika ni OAI-SearchBot.
Nini hutokea ninapozuia kila moja?
- Zuia
GPTBot: maudhui yako yanawekwa alama ya kutotumika kwa mafunzo. Utafutaji wa ChatGPT bado unaweza kukuonyesha na kukunukuu kamaOAI-SearchBotinaruhusiwa. - Zuia
OAI-SearchBot: kurasa zako hazitaonyeshwa katika majibu ya utafutaji ya ChatGPT. Mafunzo yanadhibitiwa kando naGPTBot. - Zuia
ChatGPT-Userkwenye robots.txt: OpenAI inasema huenda robots.txt isihusu ziara hizi, kwa hivyo matokeo hayahakikishwi. Kuizuia kwenye firewall kunasimamisha upakuaji, na watumiaji wanaobandika kiungo chako hupata hitilafu badala ya maudhui yako. - Zuia zote tatu kwenye firewall: ChatGPT haiwezi kuorodhesha wala kupakua kurasa zako, kwa hivyo haina chochote chako cha kunukuu.
- Ruhusu zote tatu: kurasa zako zinaweza kuorodheshwa kwa ajili ya utafutaji, kupakuliwa kwa ombi na, kupitia
GPTBot, kutumika kwa mafunzo.
OpenAI pia inabainisha kwamba GPTBot na OAI-SearchBot zote zikiruhusiwa, inaweza kutumia matokeo ya upitiaji mmoja kwa madhumuni yote mawili ili kuepuka kupitia mara mbili.
Nitumie robots.txt gani kwa crawler za OpenAI?
Kwa tovuti nyingi zinazotaka kuonekana katika majibu ya ChatGPT, ruhusu crawler ya utafutaji na uamue kando kuhusu mafunzo. Faili hili linaruhusu utafutaji na linajiondoa kwenye mafunzo:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Zingatia jambo moja la RFC 9309: crawler hufuata kundi linaloitaja na hupuuza kundi la *. Katika mfano hapo juu, OAI-SearchBot ingeruhusiwa kuingia /admin/ kwa sababu kundi lake halina mstari wa Disallow: /admin/. Rudia njia zozote unazotaka zibaki za faragha katika kila kundi lenye jina. OpenAI inasema mabadiliko ya utafutaji yanaweza kuchukua takriban saa 24 kutumika.
Ninathibitishaje kwamba firewall inaziruhusu kupita?
robots.txt inaeleza sera yako tu. Firewall au CDN ndiyo huamua kile kila ombi linapokea kweli. Omba ukurasa kwa user agent ya kila crawler na ulinganishe msimbo wa hali na ukubwa wa maudhui na ombi la kivinjari. 403, 429 au ukurasa wa changamoto kwa crawler, na ukurasa wa kawaida kwa kivinjari, inamaanisha firewall inapuuza robots.txt yako.
AISeeWhy huendesha ulinganisho huu kwa mawakala wote watatu wa OpenAI kwa mara moja, huweka vizuizi vya OAI-SearchBot na ChatGPT-User kuwa P1 kwa sababu vinagharimu unukuzi, na huorodhesha GPTBot iliyozuiwa kama chaguo la sera la P3 badala ya kosa.
Marekebisho ya tatizo hili
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Mifuatano ya user agent ya crawler za OpenAI ni ipi?
Nyaraka za OpenAI zinatoa Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot kwa GPTBot, mfuatano unaofanana na wa Chrome unaoishia na compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot kwa OAI-SearchBot, na Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot kwa ChatGPT-User. Namba za toleo zinaweza kubadilika, kwa hivyo linganisha tokeni. Safu za IP zimechapishwa kwenye openai.com/gptbot.json, openai.com/searchbot.json na openai.com/chatgpt-user.json; kagua IP ya chanzo dhidi yake ili kutofautisha crawler halisi na mwigaji.
Je, GPTBot ni sawa na ChatGPT?
Hapana. GPTBot ni crawler ya data ya mafunzo. Utafutaji wa ChatGPT hutumia OAI-SearchBot, na ziara za moja kwa moja zinazoombwa na watumiaji hutoka kwa ChatGPT-User.
Je, ninaweza kuruhusu utafutaji wa ChatGPT lakini kuzuia mafunzo?
Ndiyo. Ruhusu OAI-SearchBot na uzuie GPTBot kwenye robots.txt. OpenAI inaeleza mipangilio hiyo miwili kuwa inajitegemea.
Je, nizuie OpenAI kwa anwani ya IP?
Kuzuia kwa IP huizuia crawler kusoma robots.txt yako na hufanya sera yako iwe ngumu zaidi kubadilisha. Kwa kawaida ni bora kueleza sera kwenye robots.txt na kutumia masafa ya IP yaliyochapishwa kuthibitisha, si kuzuia, crawler za OpenAI.
Kwa nini kulinganisha kwa tokeni na si kwa user agent nzima?
OpenAI inasema namba ya toleo katika user agent zake inaweza kubadilika, na mifuatano ya mfano inayochapisha inatofautiana kati ya crawler. Sheria zinazolinganisha GPTBot au OAI-SearchBot zinaendelea kufanya kazi baada ya sasisho; sheria zinazolinganisha mfuatano kamili zinaweza kuacha kulingana bila kuonekana.