OpenAI-ի ռոբոտները. GPTBot, OAI-SearchBot և ChatGPT-User
OpenAI-ն օգտագործում է GPTBot-ը՝ բովանդակություն հավաքելու համար, որը կարող է ուսուցանել իր մոդելները, OAI-SearchBot-ը՝ էջերն ինդեքսավորելու ChatGPT որոնման համար, և ChatGPT-User-ը՝ այն այցերի համար, որոնք խնդրում է մարդը։ GPTBot-ին արգելափակելը ձեզ հրաժարեցնում է միայն ուսուցումից։ OAI-SearchBot-ին արգելափակելը ձեզ հեռացնում է ChatGPT-ի որոնման պատասխաններից։ robots.txt-ը կարող է չկիրառվել ChatGPT-User-ի նկատմամբ։
Մեկ ընկերության երեք տարբեր user agent-ները, յուրաքանչյուրն իր robots.txt նշանով, մեծ շփոթություն են առաջացնում։ Շատ կայքեր արգելափակեցին GPTBot-ին, երբ այն հայտնվեց, և ոմանք ավելի ուշ պարզեցին, որ արգելափակել են նաև այն ռոբոտին, որը որոշում է, թե արդյոք ChatGPT-ն կարող է իրենց մեջբերել, հաճախ ֆայրվոլի լայն կանոնի միջոցով։ Այս հոդվածն անցնում է յուրաքանչյուր գործակալի վրայով՝ հենվելով OpenAI-ի սեփական փաստաթղթերի վրա։
Այս էջում
Ի՞նչ է անում GPTBot-ը
GPTBot-ը հավաքում է բովանդակություն, որը կարող է օգտագործվել OpenAI-ի գեներատիվ AI հիմնային մոդելների ուսուցման համար։ OpenAI-ի փաստաթղթերում ասվում է, որ GPTBot-ին արգելելը ցույց է տալիս, որ կայքի բովանդակությունը չպետք է օգտագործվի այդ մոդելների ուսուցման համար։
Նրա user agent-ը պարունակում է GPTBot նշանը, օրինակ՝ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot։ OpenAI-ը նշում է, որ տարբերակի համարը կարող է փոխվել, ուստի համընկեք նշանով, ոչ թե ամբողջ տողով։ OpenAI-ը հրապարակում է իր IP տիրույթները openai.com/gptbot.json-ում։
Թույլատրել այն, թե ոչ, քաղաքականության որոշում է։ Որոշ հրատարակիչներ ցանկանում են, որ իրենց բովանդակությունը լինի ուսուցման տվյալներում, մյուսները՝ ոչ։ Դրա արգելափակումը չի ազդում ChatGPT որոնման վրա, քանի որ դա այլ ռոբոտ է։ Եթե հետագայում փոխեք ձեր կարծիքը, բավական է հեռացնել Disallow տողը. ոչինչ գրանցել կամ խնդրել պետք չէ։
Ի՞նչ է անում OAI-SearchBot-ը
OAI-SearchBot-ը OpenAI-ի որոնողական ռոբոտն է։ Այն ցուցադրում է կայքերը ChatGPT-ի որոնման գործառույթներում։ OpenAI-ը պարզ նշում է, որ OAI-SearchBot-ից հրաժարված կայքերը չեն ցուցադրվի ChatGPT-ի որոնման պատասխաններում։
Եթե ցանկանում եք, որ ChatGPT-ն մեջբերի ձեր էջերը, հենց այս ռոբոտին պետք է թույլատրել՝ և՛ robots.txt-ում, և՛ ձեր ֆայրվոլում։ Նրա IP տիրույթները հրապարակված են openai.com/searchbot.json-ում, ինչը թույլ է տալիս ֆայրվոլին հաստատել, որ հարցումն իսկապես գալիս է OpenAI-ից։
Ի՞նչ է անում ChatGPT-User-ը
ChatGPT-User-ը սովորական իմաստով ռոբոտ չէ։ Այն բեռնում է էջ, երբ ChatGPT-ի օգտատերը կամ Custom GPT-ն խնդրում է դա, օրինակ՝ երբ ինչ-որ մեկը ձեր URL-ը տեղադրում է զրույցում և խնդրում ամփոփում։ OpenAI-ն ասում է, որ այն չի օգտագործվում վեբի ավտոմատ բեռնման համար։
OpenAI-ի փաստաթղթերից երկու մանրամասն այստեղ կարևոր է։ Առաջին՝ քանի որ այս գործողությունները նախաձեռնում է օգտատերը, robots.txt-ի կանոնները կարող են չկիրառվել։ Երկրորդ՝ ChatGPT-User-ը չի օգտագործվում որոշելու, թե արդյոք բովանդակությունը կարող է հայտնվել որոնման մեջ։ Որոնման համար կարևոր կարգավորումը OAI-SearchBot-ն է։
Ի՞նչ է տեղի ունենում, երբ արգելափակում եմ յուրաքանչյուրին
- Արգելափակել
GPTBot-ին. ձեր բովանդակությունը նշվում է որպես ուսուցման համար չօգտագործվող։ ChatGPT որոնումը դեռ կարող է ձեզ ցուցադրել և մեջբերել, եթեOAI-SearchBot-ը թույլատրված է։ - Արգելափակել
OAI-SearchBot-ին. ձեր էջերը չեն ցուցադրվի ChatGPT-ի որոնման պատասխաններում։ Ուսուցումն առանձին վերահսկվում էGPTBot-ով։ - Արգելափակել
ChatGPT-User-ին robots.txt-ում. OpenAI-ն ասում է, որ robots.txt-ը կարող է չկիրառվել այս այցերի նկատմամբ, ուստի արդյունքը երաշխավորված չէ։ Ֆայրվոլում արգելափակելը կանգնեցնում է բեռնումը, և ձեր հղումը տեղադրող օգտատերերը ձեր բովանդակության փոխարեն ստանում են սխալ։ - Արգելափակել երեքին էլ ֆայրվոլում. ChatGPT-ն չի կարող ո՛չ ինդեքսավորել, ո՛չ բեռնել ձեր էջերը, ուստի ձեզնից մեջբերելու ոչինչ չունի։
- Թույլատրել երեքին էլ. ձեր էջերը կարող են ինդեքսավորվել որոնման համար, բեռնվել ըստ խնդրանքի և,
GPTBot-ի միջոցով, օգտագործվել ուսուցման համար։
OpenAI-ը նշում է նաև, որ երբ և՛ GPTBot-ը, և՛ OAI-SearchBot-ը թույլատրված են, այն կարող է մեկ բեռնման արդյունքներն օգտագործել երկու նպատակների համար՝ երկու անգամ բեռնելուց խուսափելու համար։
Ի՞նչ robots.txt օգտագործել OpenAI-ի ռոբոտների համար
Կայքերի մեծ մասի համար, որոնք ցանկանում են հայտնվել ChatGPT-ի պատասխաններում, թույլատրեք որոնողական ռոբոտին և ուսուցման մասին որոշեք առանձին։ Այս ֆայլը թույլատրում է որոնումը և հրաժարվում ուսուցումից.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Նկատի ունեցեք RFC 9309-ի մի մանրամասն. ռոբոտը հետևում է այն խմբին, որն անվանում է իրեն, և անտեսում է * խումբը։ Վերևի օրինակում OAI-SearchBot-ը թույլատրված կլիներ /admin/-ում, քանի որ նրա սեփական խումբը չունի Disallow: /admin/ տող։ Կրկնեք բոլոր ուղիները, որոնք ցանկանում եք փակ պահել, յուրաքանչյուր անվանված խմբում։ OpenAI-ն ասում է, որ որոնման փոփոխությունների կիրառումը կարող է տևել մոտ 24 ժամ։
Ինչպե՞ս համոզվել, որ ֆայրվոլը բաց է թողնում նրանց
robots.txt-ը միայն նշում է ձեր քաղաքականությունը։ Ֆայրվոլը կամ CDN-ն է որոշում, թե իրականում ինչ է ստանում յուրաքանչյուր հարցում։ Հարցրեք էջը յուրաքանչյուր ռոբոտի user agent-ով և համեմատեք կարգավիճակի կոդը և պատասխանի չափը բրաուզերի հարցման հետ։ 403, 429 կամ ստուգման էջ ռոբոտի համար և սովորական էջ բրաուզերի համար նշանակում է, որ ֆայրվոլը գերակայում է ձեր robots.txt-ի նկատմամբ։
AISeeWhy-ն այս համեմատությունը կատարում է OpenAI-ի երեք գործակալների համար միանգամից, OAI-SearchBot-ի և ChatGPT-User-ի արգելափակումները նշում է P1, քանի որ դրանք մեջբերումներ են արժենում, իսկ արգելափակված GPTBot-ը նշում է որպես P3 քաղաքականության ընտրություն, ոչ թե սխալ։
Այս խնդրի ուղղումները
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Որո՞նք են OpenAI-ի ռոբոտների user agent տողերը
OpenAI-ի փաստաթղթերը GPTBot-ի համար տալիս են Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot-ի համար՝ Chrome-ի ոճի տող, որն ավարտվում է compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-ով, իսկ ChatGPT-User-ի համար՝ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot։ Տարբերակների համարները կարող են փոխվել, ուստի համընկնեցրեք ըստ նշանի։ IP տիրույթները հրապարակված են openai.com/gptbot.json, openai.com/searchbot.json և openai.com/chatgpt-user.json հասցեներում. աղբյուր IP-ն ստուգեք դրանցով՝ իրական ռոբոտը նմանակումից տարբերելու համար։
Արդյո՞ք GPTBot-ը նույնն է, ինչ ChatGPT-ն
Ոչ։ GPTBot-ը ուսուցման տվյալների ռոբոտ է։ ChatGPT որոնումն օգտագործում է OAI-SearchBot-ը, իսկ օգտատերերի խնդրած ուղիղ այցերը գալիս են ChatGPT-User-ից։
Կարո՞ղ եմ թույլատրել ChatGPT որոնումը, բայց արգելափակել ուսուցումը
Այո։ robots.txt-ում թույլատրեք OAI-SearchBot-ին և արգելեք GPTBot-ին։ OpenAI-ը այս երկու կարգավորումները փաստաթղթավորում է որպես անկախ։
Պե՞տք է արգելափակել OpenAI-ին ըստ IP հասցեի
IP-ով արգելափակումը թույլ չի տալիս ռոբոտին կարդալ ձեր robots.txt-ը և դժվարացնում է ձեր քաղաքականության փոփոխումը։ Սովորաբար ավելի լավ է քաղաքականությունը նշել robots.txt-ում, իսկ հրապարակված IP տիրույթներն օգտագործել OpenAI-ի ռոբոտներին հաստատելու, ոչ թե արգելափակելու համար։
Ինչո՞ւ համընկնել նշանով, ոչ թե ամբողջ user agent-ով
OpenAI-ն ասում է, որ իր user agent-ներում տարբերակի համարը կարող է փոխվել, իսկ նրա հրապարակած օրինակային տողերը տարբերվում են ռոբոտից ռոբոտ։ GPTBot-ի կամ OAI-SearchBot-ի հետ համընկնող կանոնները շարունակում են աշխատել թարմացումից հետո. ճշգրիտ տողի հետ համընկնող կանոնները կարող են աննկատ դադարել համընկնել։