OpenAI botları: GPTBot, OAI-SearchBot və ChatGPT-User

Dərc olunub · Yenilənib

Qısa cavab

OpenAI modellərini öyrədə biləcək məzmunu toplamaq üçün GPTBot-dan, ChatGPT axtarışı üçün səhifələri indeksləmək üçün OAI-SearchBot-dan, insanın istədiyi ziyarətlər üçün isə ChatGPT-User-dən istifadə edir. GPTBot-u bloklamaq yalnız təlimdən imtina deməkdir. OAI-SearchBot-u bloklamaq sizi ChatGPT axtarış cavablarından çıxarır. robots.txt ChatGPT-User-ə şamil olunmaya bilər.

Bir şirkətdən gələn, hər birinin öz robots.txt tokeni olan üç fərqli user agent çox çaşqınlıq yaradır. GPTBot ortaya çıxanda bir çox sayt onu blokladı, bəziləri isə sonradan, çox vaxt geniş firewall qaydası ucbatından, ChatGPT-nin onlara istinad edə bilib-bilməyəcəyini həll edən botu da blokladıqlarını gördü. Bu məqalə OpenAI-ın öz sənədlərinə əsaslanaraq hər agenti nəzərdən keçirir.

Bu səhifədə
  1. GPTBot nə edir?
  2. OAI-SearchBot nə edir?
  3. ChatGPT-User nə edir?
  4. Hər birini bloklasam nə olur?
  5. OpenAI botları üçün hansı robots.txt-dən istifadə etməliyəm?
  6. Firewall-un onları buraxdığını necə təsdiqləyim?

GPTBot nə edir?

GPTBot OpenAI-ın generativ AI əsas modellərini öyrətmək üçün istifadə oluna biləcək məzmunu tarayır. OpenAI-ın sənədlərində deyilir ki, GPTBot-u qadağan etmək saytın məzmununun həmin modellərin təlimində istifadə olunmamalı olduğunu bildirir.

Onun user agent-ində GPTBot tokeni var, məsələn Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI qeyd edir ki, versiya nömrəsi dəyişə bilər, buna görə tam sətrə deyil, tokenə görə uyğunlaşdırın. OpenAI onun IP diapazonlarını openai.com/gptbot.json ünvanında dərc edir.

Ona icazə verib-verməmək siyasət qərarıdır. Bəzi nəşriyyatçılar məzmunlarının təlim məlumatlarında olmasını istəyir, digərləri istəmir. Onu bloklamaq ChatGPT axtarışına təsir etmir, çünki bu, başqa botdur. Sonradan fikrinizi dəyişsəniz, Disallow sətrini silmək kifayətdir; heç nəyi qeydiyyatdan keçirmək və ya sorğu göndərmək lazım deyil.

OAI-SearchBot nə edir?

OAI-SearchBot OpenAI-ın axtarış botudur. O, saytları ChatGPT-nin axtarış funksiyalarında göstərir. OpenAI açıq şəkildə bildirir ki, OAI-SearchBot-dan imtina edən saytlar ChatGPT axtarış cavablarında göstərilməyəcək.

ChatGPT-nin səhifələrinizə istinad etməsini istəyirsinizsə, həm robots.txt-də, həm də firewall-da icazə verilməli bot budur. Onun IP diapazonları openai.com/searchbot.json ünvanında dərc olunur və bu, firewall-a sorğunun həqiqətən OpenAI-dan gəldiyini təsdiqləməyə imkan verir.

ChatGPT-User nə edir?

ChatGPT-User adi mənada bot deyil. O, ChatGPT istifadəçisi və ya Custom GPT istədikdə səhifəni yükləyir, məsələn kimsə URL-inizi çata yapışdırıb xülasə istəyəndə. OpenAI bildirir ki, o, vebin avtomatik taranması üçün istifadə olunmur.

OpenAI-ın sənədlərindən iki detal burada vacibdir. Birincisi, bu əməliyyatları istifadəçi başlatdığı üçün robots.txt qaydaları onlara şamil olunmaya bilər. İkincisi, ChatGPT-User məzmunun axtarışda görünə bilib-bilməyəcəyini müəyyən etmək üçün istifadə olunmur. Axtarış üçün əhəmiyyət daşıyan parametr OAI-SearchBot-dur.

Hər birini bloklasam nə olur?

OpenAI həmçinin qeyd edir ki, həm GPTBot-a, həm də OAI-SearchBot-a icazə verildikdə iki dəfə taramamaq üçün bir taramanın nəticələrindən hər iki məqsəd üçün istifadə edə bilər.

OpenAI botları üçün hansı robots.txt-dən istifadə etməliyəm?

ChatGPT cavablarında görünmək istəyən saytların əksəriyyəti üçün axtarış botuna icazə verin və təlim barədə ayrıca qərar verin. Bu fayl axtarışa icazə verir və təlimdən imtina edir:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

RFC 9309-un bir detalını nəzərə alın: bot onun adını çəkən qrupa əməl edir və * qrupuna məhəl qoymur. Yuxarıdakı nümunədə OAI-SearchBot-un /admin/ bölməsinə girişinə icazə veriləcək, çünki onun öz qrupunda Disallow: /admin/ sətri yoxdur. Gizli saxlamaq istədiyiniz bütün yolları hər adlı qrupda təkrarlayın. OpenAI bildirir ki, axtarış dəyişikliklərinin tətbiqi təxminən 24 saat çəkə bilər.

Firewall-un onları buraxdığını necə təsdiqləyim?

robots.txt yalnız siyasətinizi bildirir. Hər sorğunun əslində nə aldığını firewall və ya CDN həll edir. Səhifəni hər botun user agent-i ilə sorğulayın və status kodunu və cavabın ölçüsünü brauzer sorğusu ilə müqayisə edin. Bot üçün 403, 429 və ya challenge səhifəsi, brauzer üçün isə normal səhifə firewall-un robots.txt-inizi üstələdiyini göstərir.

AISeeWhy bu müqayisəni hər üç OpenAI agenti üçün eyni anda aparır, OAI-SearchBot və ChatGPT-User bloklarını istinadlara mal olduğu üçün P1 kimi qeyd edir, bloklanmış GPTBot-u isə səhv kimi deyil, P3 siyasət seçimi kimi göstərir.

Bu problem üçün düzəlişlər

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

OpenAI botlarının user agent sətirləri hansılardır?

OpenAI-ın sənədləri GPTBot üçün Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot üçün compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ilə bitən Chrome-a bənzər sətir, ChatGPT-User üçün isə Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot verir. Versiya nömrələri dəyişə bilər, buna görə tokenə görə uyğunlaşdırın. IP diapazonları openai.com/gptbot.json, openai.com/searchbot.json və openai.com/chatgpt-user.json ünvanlarında dərc olunur; real botu təqliddən ayırmaq üçün mənbə IP-ni onlarla yoxlayın.

GPTBot ilə ChatGPT eyni şeydirmi?

Xeyr. GPTBot təlim məlumatları üçün botdur. ChatGPT axtarışı OAI-SearchBot-dan istifadə edir, istifadəçilərin istədiyi canlı ziyarətlər isə ChatGPT-User-dən gəlir.

ChatGPT axtarışına icazə verib təlimi bloklaya bilərəmmi?

Bəli. robots.txt-də OAI-SearchBot-a icazə verin və GPTBot-u qadağan edin. OpenAI bu iki parametri müstəqil kimi sənədləşdirir.

OpenAI-ı IP ünvanına görə bloklamalıyammı?

IP-yə görə bloklamaq botun robots.txt-inizi oxumasına mane olur və siyasətinizi dəyişməyi çətinləşdirir. Adətən siyasəti robots.txt-də bildirmək, dərc olunmuş IP diapazonlarından isə OpenAI botlarını bloklamaq üçün deyil, təsdiqləmək üçün istifadə etmək daha yaxşıdır.

Niyə tam user agent-ə deyil, tokenə görə uyğunlaşdırmalı?

OpenAI bildirir ki, user agent-lərindəki versiya nömrəsi dəyişə bilər və dərc etdiyi nümunə sətirlər botlar arasında fərqlənir. GPTBot və ya OAI-SearchBot-a uyğunlaşan qaydalar yeniləmədən sonra da işləyir; dəqiq sətrə uyğunlaşan qaydalar isə xəbərdarlıq olmadan işləməyi dayandıra bilər.

Mənbələr

Digər məqalələr