OpenAI краулери објашњени: GPTBot, OAI-SearchBot и ChatGPT-User
OpenAI користи GPTBot за прикупљање садржаја на коме може да обучава моделе, OAI-SearchBot за индексирање страница за ChatGPT претрагу, а ChatGPT-User за посете које затражи особа. Блокирање GPTBot-а вас искључује само из обуке. Блокирање OAI-SearchBot-а вас уклања из одговора ChatGPT претраге. robots.txt се на ChatGPT-User можда не примењује.
Три различита user agent-а једне компаније, сваки са сопственим robots.txt токеном, изазивају доста забуне. Многи сајтови су блокирали GPTBot чим се појавио, а неки су касније открили да су блокирали и краулер који одлучује да ли ChatGPT може да их цитира, често широким правилом у заштитном зиду. Овај чланак пролази кроз сваког агента на основу OpenAI-јеве документације.
На овој страници
Шта ради GPTBot?
GPTBot обилази садржај који се може користити за обуку OpenAI-јевих основних модела генеративног AI-ја. OpenAI-јева документација каже да забрана GPTBot-а показује да садржај сајта не треба користити за обуку тих модела.
Његов user agent садржи токен GPTBot, на пример Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI напомиње да се број верзије може променити, па поклапајте токен, а не цео стринг. OpenAI објављује своје IP опсеге на openai.com/gptbot.json.
Да ли ћете га дозволити ствар је политике. Неки издавачи желе свој садржај у подацима за обуку, други не. Његово блокирање не утиче на ChatGPT претрагу, јер је то други краулер. Ако се касније предомислите, довољно је да уклоните ред Disallow; ништа не морате да региструјете ни да тражите.
Шта ради OAI-SearchBot?
OAI-SearchBot је OpenAI-јев краулер за претрагу. Приказује сајтове у функцијама претраге у ChatGPT-у. OpenAI јасно наводи да сајтови који су искључили OAI-SearchBot неће бити приказани у одговорима ChatGPT претраге.
Ако желите да ChatGPT цитира ваше странице, ово је краулер који треба дозволити, и у robots.txt и у заштитном зиду. Његови IP опсези су објављени на openai.com/searchbot.json, што заштитном зиду омогућава да провери да ли захтев заиста долази од OpenAI-ја.
Шта ради ChatGPT-User?
ChatGPT-User није краулер у уобичајеном смислу. Преузима страницу када је затражи корисник ChatGPT-а или Custom GPT, на пример када неко налепи ваш URL у ћаскање и затражи резиме. OpenAI каже да се не користи за аутоматско обилажење веба.
Овде су важна два детаља из OpenAI-јеве документације. Прво, пошто ове радње покреће корисник, robots.txt правила се можда не примењују. Друго, ChatGPT-User се не користи за одлучивање да ли садржај може да се појави у претрази. За претрагу је меродавно подешавање за OAI-SearchBot.
Шта се дешава када блокирам сваког од њих?
- Блокирате
GPTBot: ваш садржај је означен као садржај који не треба користити за обуку. ChatGPT претрага и даље може да вас прикаже и цитира ако јеOAI-SearchBotдозвољен. - Блокирате
OAI-SearchBot: ваше странице неће бити приказане у одговорима ChatGPT претраге. Обука се засебно контролише прекоGPTBot-а. - Блокирате
ChatGPT-Userу robots.txt: OpenAI каже да се robots.txt на ове посете можда не примењује, па ефекат није загарантован. Блокирање у заштитном зиду зауставља преузимање, а корисници који налепе ваш линк уместо вашег садржаја добијају грешку. - Блокирате сва три у заштитном зиду: ChatGPT не може ни да индексира ни да преузме ваше странице, па нема ништа ваше што би могао да цитира.
- Дозволите сва три: ваше странице могу да се индексирају за претрагу, преузимају на захтев и, преко
GPTBot-а, користе за обуку.
OpenAI такође напомиње да, када су дозвољени и GPTBot и OAI-SearchBot, може да користи резултате једног обиласка за обе намене како не би обилазио два пута.
Који robots.txt да користим за OpenAI-јеве краулере?
За већину сајтова који желе да се појаве у одговорима ChatGPT-а: дозволите краулер за претрагу, а о обуци одлучите засебно. Овај фајл дозвољава претрагу и искључује обуку:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Обратите пажњу на један детаљ RFC 9309: краулер прати групу која га наводи и занемарује групу *. У примеру изнад OAI-SearchBot би могао у /admin/, јер његова група нема ред Disallow: /admin/. Поновите у свакој именованој групи све путање које желите да остану приватне. OpenAI каже да промене за претрагу могу да се примене за око 24 сата.
Како да потврдим да их заштитни зид пропушта?
robots.txt само изражава вашу политику. Заштитни зид или CDN одлучује шта сваки захтев заиста добија. Затражите страницу са user agent-ом сваког краулера и упоредите статусни код и величину садржаја са захтевом прегледача. 403, 429 или страница са изазовом за краулер, уз нормалну страницу за прегледач, значи да заштитни зид надјачава ваш robots.txt.
AISeeWhy покреће ово поређење за сва три OpenAI агента одједном, блокаде OAI-SearchBot-а и ChatGPT-User-а означава као P1 јер коштају цитата, а блокиран GPTBot наводи као P3 избор политике, а не као грешку.
Исправке за овај проблем
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Који су user agent стрингови OpenAI-јевих краулера?
OpenAI-јева документација наводи Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot за GPTBot, стринг сличан Chrome-у који се завршава са compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot за OAI-SearchBot и Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot за ChatGPT-User. Бројеви верзија могу да се промене, па поклапајте по токену. IP опсези су објављени на openai.com/gptbot.json, openai.com/searchbot.json и openai.com/chatgpt-user.json; проверите изворну IP адресу у њима да бисте разликовали правог краулера од имитације.
Да ли је GPTBot исто што и ChatGPT?
Није. GPTBot је краулер за податке за обуку. ChatGPT претрага користи OAI-SearchBot, а посете уживо које траже корисници долазе од ChatGPT-User.
Могу ли да дозволим ChatGPT претрагу, а блокирам обуку?
Можете. У robots.txt дозволите OAI-SearchBot и забраните GPTBot. OpenAI ова два подешавања документује као независна.
Да ли треба да блокирам OpenAI по IP адреси?
Блокирање по IP адреси спречава краулер да прочита ваш robots.txt и отежава промену политике. Обично је боље да политику изразите у robots.txt, а објављене IP опсеге користите да проверите OpenAI-јеве краулере, а не да их блокирате.
Зашто поклапати токен, а не цео user agent?
OpenAI каже да се број верзије у његовим user agent-има може променити, а примери стрингова које објављује разликују се од краулера до краулера. Правила која поклапају GPTBot или OAI-SearchBot настављају да раде и након ажурирања; правила која поклапају тачан стринг могу неприметно да престану да се поклапају.