Zvarritësit e OpenAI: GPTBot, OAI-SearchBot dhe ChatGPT-User
OpenAI përdor GPTBot për të mbledhur përmbajtje që mund të trajnojë modelet e tij, OAI-SearchBot për të indeksuar faqe për kërkimin e ChatGPT, dhe ChatGPT-User për vizitat që kërkon një person. Bllokimi i GPTBot ju përjashton vetëm nga trajnimi. Bllokimi i OAI-SearchBot ju heq nga përgjigjet e kërkimit të ChatGPT. robots.txt mund të mos zbatohet për ChatGPT-User.
Tre user agent-ë të ndryshëm nga e njëjta kompani, secili me token-in e vet në robots.txt, shkaktojnë shumë ngatërresë. Shumë sajte e bllokuan GPTBot kur doli, dhe disa zbuluan më vonë se kishin bllokuar edhe zvarritësin që vendos nëse ChatGPT mund t'i citojë, shpesh përmes një rregulli të gjerë firewall-i. Ky artikull i shqyrton të gjithë agjentët një nga një, duke u mbështetur në dokumentacionin e vetë OpenAI.
Në këtë faqe
Çfarë bën GPTBot?
GPTBot zvarrit përmbajtje që mund të përdoret për të trajnuar modelet bazë të AI gjeneruese të OpenAI. Dokumentacioni i OpenAI thotë se ndalimi i GPTBot tregon që përmbajtja e një sajti nuk duhet përdorur në trajnimin e atyre modeleve.
User agent-i i tij përmban token-in GPTBot, për shembull Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI vëren se numri i versionit mund të ndryshojë, ndaj përputhni sipas token-it, jo sipas vargut të plotë. OpenAI publikon gamat e tij IP te openai.com/gptbot.json.
Nëse duhet lejuar apo jo është vendim politike. Disa botues e duan përmbajtjen e tyre në të dhënat e trajnimit, të tjerë jo. Bllokimi i tij nuk ndikon në kërkimin e ChatGPT, sepse ai është zvarritës tjetër. Nëse ndërroni mendje më vonë, mjafton të hiqni rreshtin Disallow; nuk ka asgjë për të regjistruar apo kërkuar.
Çfarë bën OAI-SearchBot?
OAI-SearchBot është zvarritësi i kërkimit i OpenAI. Ai i shfaq sajtet në funksionet e kërkimit të ChatGPT. OpenAI deklaron qartë se sajtet që e refuzojnë OAI-SearchBot nuk do të shfaqen në përgjigjet e kërkimit të ChatGPT.
Nëse doni që ChatGPT t'i citojë faqet tuaja, ky është zvarritësi që duhet lejuar, si në robots.txt ashtu edhe në firewall. Gamat e tij IP publikohen te openai.com/searchbot.json, gjë që i lejon një firewall-i të verifikojë që një kërkesë vjen vërtet nga OpenAI.
Çfarë bën ChatGPT-User?
ChatGPT-User nuk është zvarritës në kuptimin e zakonshëm. Ai merr një faqe kur ia kërkon një përdorues i ChatGPT ose një Custom GPT, për shembull kur dikush ngjit URL-në tuaj në një bisedë dhe kërkon një përmbledhje. OpenAI thotë se nuk përdoret për zvarritje automatike të uebit.
Dy detaje nga dokumentacioni i OpenAI kanë rëndësi këtu. Së pari, meqë këto veprime i nis një përdorues, rregullat e robots.txt mund të mos zbatohen. Së dyti, ChatGPT-User nuk përdoret për të përcaktuar nëse përmbajtja mund të shfaqet në kërkim. Për kërkimin, cilësimi që vlen është OAI-SearchBot.
Çfarë ndodh kur bllokoj secilin prej tyre?
- Bllokoni
GPTBot: përmbajtja juaj shënohet si e papërdorshme për trajnim. Kërkimi i ChatGPT mund t'ju shfaqë dhe t'ju citojë ende nëseOAI-SearchBotlejohet. - Bllokoni
OAI-SearchBot: faqet tuaja nuk do të shfaqen në përgjigjet e kërkimit të ChatGPT. Trajnimi kontrollohet veçmas ngaGPTBot. - Bllokoni
ChatGPT-Usernë robots.txt: OpenAI thotë se robots.txt mund të mos zbatohet për këto vizita, ndaj efekti nuk është i garantuar. Bllokimi në firewall e ndalon marrjen e faqes, dhe përdoruesit që ngjitin lidhjen tuaj marrin një gabim në vend të përmbajtjes suaj. - Bllokoni të tre në firewall: ChatGPT nuk mund as t'i indeksojë, as t'i marrë faqet tuaja, ndaj nuk ka asgjë tuajën për të cituar.
- Lejoni të tre: faqet tuaja mund të indeksohen për kërkim, të merren me kërkesë dhe, përmes
GPTBot, të përdoren për trajnim.
OpenAI vëren gjithashtu se kur lejohen si GPTBot ashtu edhe OAI-SearchBot, mund t'i përdorë rezultatet e një zvarritjeje për të dy qëllimet, për të mos zvarritur dy herë.
Çfarë robots.txt duhet të përdor për zvarritësit e OpenAI?
Për shumicën e sajteve që duan të shfaqen në përgjigjet e ChatGPT, lejoni zvarritësin e kërkimit dhe vendosni veçmas për trajnimin. Ky skedar lejon kërkimin dhe refuzon trajnimin:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ Vini re një detaj të RFC 9309: një zvarritës ndjek grupin që e përmend dhe e shpërfill grupin *. Në shembullin më sipër, OAI-SearchBot do të lejohej në /admin/, sepse grupi i tij nuk ka rresht Disallow: /admin/. Përsëritni në çdo grup me emër shtigjet që doni t'i mbani private. OpenAI thotë se ndryshimeve për kërkimin mund t'u duhen rreth 24 orë për t'u zbatuar.
Si ta konfirmoj që firewall-i i lë të kalojnë?
robots.txt vetëm deklaron politikën tuaj. Firewall-i ose CDN-ja vendos çfarë merr realisht çdo kërkesë. Kërkoni një faqe me user agent-in e secilit zvarritës dhe krahasoni kodin e statusit dhe madhësinë e trupit me një kërkesë shfletuesi. Një 403, 429 ose faqe sfide për zvarritësin, me një faqe normale për shfletuesin, do të thotë që firewall-i e anashkalon robots.txt-në tuaj.
AISeeWhy e bën këtë krahasim për të tre agjentët e OpenAI njëherësh, i shënon P1 bllokimet e OAI-SearchBot dhe ChatGPT-User sepse kushtojnë citime, dhe e rendit një GPTBot të bllokuar si zgjedhje politike P3, jo si gabim.
Rregullime për këtë problem
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolli i IP-së së zvarritësve AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
Cilat janë vargjet user agent të zvarritësve të OpenAI?
Dokumentacioni i OpenAI jep Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot për GPTBot, një varg të ngjashëm me Chrome që mbaron me compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot për OAI-SearchBot, dhe Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot për ChatGPT-User. Numrat e versioneve mund të ndryshojnë, ndaj përputhni sipas tokenit. Gamat IP publikohen në openai.com/gptbot.json, openai.com/searchbot.json dhe openai.com/chatgpt-user.json; kontrolloni IP-në burimore kundrejt tyre për ta dalluar një zvarritës të vërtetë nga një imitim.
A është GPTBot e njëjta gjë me ChatGPT?
Jo. GPTBot është zvarritës për të dhëna trajnimi. Kërkimi i ChatGPT përdor OAI-SearchBot, dhe vizitat e drejtpërdrejta që kërkojnë përdoruesit vijnë nga ChatGPT-User.
A mund ta lejoj kërkimin e ChatGPT, por ta bllokoj trajnimin?
Po. Lejoni OAI-SearchBot dhe ndaloni GPTBot në robots.txt. OpenAI i dokumenton të dy cilësimet si të pavarura.
A duhet ta bllokoj OpenAI sipas adresës IP?
Bllokimi sipas IP-së e pengon zvarritësin të lexojë robots.txt-në tuaj dhe e bën politikën tuaj më të vështirë për t'u ndryshuar. Zakonisht është më mirë ta deklaroni politikën në robots.txt dhe t'i përdorni gamat IP të publikuara për të verifikuar, jo për të bllokuar, zvarritësit e OpenAI.
Pse të përputhet token-i dhe jo user agent-i i plotë?
OpenAI thotë se numri i versionit në user agent-ët e tij mund të ndryshojë, dhe vargjet shembull që publikon ndryshojnë nga një zvarritës te tjetri. Rregullat që përputhen me GPTBot ose OAI-SearchBot vazhdojnë të funksionojnë pas një përditësimi; rregullat që përputhen me vargun e saktë mund të pushojnë së përputhuri pa u vënë re.