Mga crawler ng OpenAI, ipinaliwanag: GPTBot, OAI-SearchBot at ChatGPT-User

Inilathala · In-update

Maikling sagot

Ginagamit ng OpenAI ang GPTBot para mangolekta ng content na maaaring mag-train sa mga model nito, ang OAI-SearchBot para mag-index ng mga pahina para sa ChatGPT search, at ang ChatGPT-User para sa mga pagbisitang hinihiling ng isang tao. Sa training ka lang inaalis ng pag-block sa GPTBot. Inaalis ka sa mga sagot ng ChatGPT search ng pag-block sa OAI-SearchBot. Maaaring hindi nalalapat ang robots.txt sa ChatGPT-User.

Tatlong magkakaibang user agent mula sa iisang kumpanya, bawat isa may sariling robots.txt token, ang nagdudulot ng maraming kalituhan. Maraming site ang nag-block sa GPTBot nang lumabas ito, at nalaman ng ilan kalaunan na na-block din nila ang crawler na nagpapasya kung masisipi sila ng ChatGPT, madalas dahil sa isang malawak na firewall rule. Isa-isang tinatalakay ng artikulong ito ang bawat agent gamit ang sariling dokumentasyon ng OpenAI.

Sa pahinang ito
  1. Ano ang ginagawa ng GPTBot?
  2. Ano ang ginagawa ng OAI-SearchBot?
  3. Ano ang ginagawa ng ChatGPT-User?
  4. Ano ang nangyayari kapag bina-block ko ang bawat isa?
  5. Anong robots.txt ang dapat kong gamitin para sa mga crawler ng OpenAI?
  6. Paano ko makukumpirmang pinapalampas sila ng firewall?

Ano ang ginagawa ng GPTBot?

Nagka-crawl ang GPTBot ng content na maaaring gamitin sa pag-train ng mga generative AI foundation model ng OpenAI. Sinasabi ng dokumentasyon ng OpenAI na ang pag-disallow sa GPTBot ay nagpapahiwatig na hindi dapat gamitin ang content ng site sa pag-train ng mga model na iyon.

May token na GPTBot ang user agent nito, halimbawa Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. Binabanggit ng OpenAI na maaaring magbago ang version number, kaya itugma ang token, hindi ang buong string. Inilalathala ng OpenAI ang mga IP range nito sa openai.com/gptbot.json.

Desisyon sa patakaran kung papayagan ito. May mga publisher na gustong mapasama ang content nila sa training data, at may ayaw. Hindi naaapektuhan ng pag-block dito ang ChatGPT search, dahil ibang crawler iyon. Kung magbago ang isip mo kalaunan, sapat nang alisin ang linyang Disallow; walang kailangang irehistro o hilingin.

Ano ang ginagawa ng OAI-SearchBot?

Ang OAI-SearchBot ang search crawler ng OpenAI. Ipinapakita nito ang mga website sa mga search feature ng ChatGPT. Malinaw na sinasabi ng OpenAI na hindi ipapakita sa mga sagot ng ChatGPT search ang mga site na nag-opt out sa OAI-SearchBot.

Kung gusto mong sipiin ng ChatGPT ang mga pahina mo, ito ang crawler na dapat payagan, sa robots.txt at sa firewall mo. Inilalathala ang mga IP range nito sa openai.com/searchbot.json, kaya kayang beripikahin ng firewall na talagang galing sa OpenAI ang isang request.

Ano ang ginagawa ng ChatGPT-User?

Hindi crawler ang ChatGPT-User sa karaniwang kahulugan. Kumukuha ito ng pahina kapag hiniling ito ng user ng ChatGPT o ng isang Custom GPT, halimbawa kapag may nag-paste ng URL mo sa isang chat at humingi ng buod. Sinasabi ng OpenAI na hindi ito ginagamit para sa awtomatikong pag-crawl ng web.

Dalawang detalye mula sa dokumentasyon ng OpenAI ang mahalaga rito. Una, dahil user ang nagsisimula ng mga aksyong ito, maaaring hindi nalalapat ang mga rule sa robots.txt. Pangalawa, hindi ginagamit ang ChatGPT-User para magpasya kung lalabas ang content sa search. Para sa search, ang OAI-SearchBot ang mahalagang setting.

Ano ang nangyayari kapag bina-block ko ang bawat isa?

Binabanggit din ng OpenAI na kapag pinapayagan ang GPTBot at OAI-SearchBot, maaari nitong gamitin ang resulta ng isang crawl para sa dalawang layunin para hindi na mag-crawl nang dalawang beses.

Anong robots.txt ang dapat kong gamitin para sa mga crawler ng OpenAI?

Para sa karamihan ng site na gustong lumabas sa mga sagot ng ChatGPT, payagan ang search crawler at hiwalay na magpasya tungkol sa training. Pinapayagan ng file na ito ang search at nag-o-opt out sa training:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Pansinin ang isang detalye ng RFC 9309: sinusunod ng crawler ang grupong nagbabanggit dito at hindi pinapansin ang grupong *. Sa halimbawa sa itaas, papapasukin ang OAI-SearchBot sa /admin/ dahil walang linyang Disallow: /admin/ ang sarili nitong grupo. Ulitin ang anumang path na gusto mong manatiling pribado sa bawat grupong may pangalan. Sinasabi ng OpenAI na maaaring umabot nang mga 24 oras bago mailapat ang mga pagbabago sa search.

Paano ko makukumpirmang pinapalampas sila ng firewall?

Patakaran mo lang ang isinasaad ng robots.txt. Ang firewall o CDN ang nagpapasya kung ano talaga ang nakukuha ng bawat request. Mag-request ng pahina gamit ang user agent ng bawat crawler at ihambing ang status code at laki ng body sa isang request ng browser. Kung 403, 429 o challenge page ang para sa crawler at normal na pahina para sa browser, nilalampasan ng firewall ang robots.txt mo.

Pinapatakbo ng AISeeWhy ang paghahambing na ito para sa tatlong agent ng OpenAI nang sabay-sabay, minamarkahan bilang P1 ang mga block sa OAI-SearchBot at ChatGPT-User dahil nagkakahalaga ang mga ito ng mga pagsipi, at inililista ang naka-block na GPTBot bilang P3 na pagpili sa patakaran sa halip na error.

Mga ayos para sa problemang ito

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Ano ang mga user agent string ng mga crawler ng OpenAI?

Ibinibigay ng dokumentasyon ng OpenAI ang Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot para sa GPTBot, isang string na parang sa Chrome na nagtatapos sa compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot para sa OAI-SearchBot, at Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot para sa ChatGPT-User. Maaaring magbago ang mga version number, kaya i-match sa token. Inilalathala ang mga IP range sa openai.com/gptbot.json, openai.com/searchbot.json at openai.com/chatgpt-user.json; itapat ang source IP sa mga ito para makilala ang totoong crawler mula sa nagpapanggap.

Pareho ba ang GPTBot at ChatGPT?

Hindi. Crawler para sa training data ang GPTBot. Gumagamit ang ChatGPT search ng OAI-SearchBot, at galing sa ChatGPT-User ang mga live na pagbisitang hinihiling ng mga user.

Puwede ko bang payagan ang ChatGPT search pero i-block ang training?

Oo. Payagan ang OAI-SearchBot at i-disallow ang GPTBot sa robots.txt. Inilalarawan ng OpenAI na independiyente ang dalawang setting.

Dapat ko bang i-block ang OpenAI ayon sa IP address?

Pinipigilan ng pag-block ayon sa IP ang crawler na basahin ang robots.txt mo at pinapahirap nitong baguhin ang patakaran mo. Kadalasang mas mabuting isaad ang patakaran sa robots.txt at gamitin ang mga inilathalang IP range para beripikahin, hindi para i-block, ang mga crawler ng OpenAI.

Bakit itutugma ang token at hindi ang buong user agent?

Sinasabi ng OpenAI na maaaring magbago ang version number sa mga user agent nito, at magkakaiba sa bawat crawler ang mga halimbawang string na inilalathala nito. Patuloy na gumagana pagkatapos ng update ang mga rule na tumutugma sa GPTBot o OAI-SearchBot; ang mga rule na tumutugma sa eksaktong string ay puwedeng tahimik na huminto sa pagtutugma.

Mga pinagmulan

Iba pang artikulo