AISeeWhy
HU
Ingyenes próba

Az OpenAI crawlerei: GPTBot, OAI-SearchBot és ChatGPT-User

Megjelent

Rövid válasz

Az OpenAI a GPTBot-ot olyan tartalom gyűjtésére használja, amely a modelljei tanítására szolgálhat, az OAI-SearchBot-ot oldalak indexelésére a ChatGPT-keresés számára, a ChatGPT-User-t pedig a felhasználó kérte látogatásokra. A GPTBot blokkolása csak a tanításból zár ki. Az OAI-SearchBot blokkolása kivesz a ChatGPT keresési válaszaiból. A robots.txt a ChatGPT-User-re nem feltétlenül vonatkozik.

Egy cég három különböző user agentje, mindegyik saját robots.txt-tokennel, sok zavart okoz. Sok webhely letiltotta a GPTBot-ot, amikor megjelent, és néhányan később rájöttek, hogy ezzel azt a crawlert is blokkolták, amely eldönti, idézheti-e őket a ChatGPT, gyakran egy általános tűzfalszabályon keresztül. Ez a cikk az OpenAI saját dokumentációja alapján veszi sorra az egyes ügynököket.

Ezen az oldalon
  1. Mit csinál a GPTBot?
  2. Mit csinál az OAI-SearchBot?
  3. Mit csinál a ChatGPT-User?
  4. Mi történik, ha mindegyiket blokkolom?
  5. Milyen robots.txt-et használjak az OpenAI crawlereihez?
  6. Hogyan győződöm meg róla, hogy a tűzfal átengedi őket?

Mit csinál a GPTBot?

A GPTBot olyan tartalmat jár be, amelyet az OpenAI generatív AI-alapmodelljeinek tanítására lehet használni. Az OpenAI dokumentációja szerint a GPTBot tiltása azt jelzi, hogy a webhely tartalmát nem szabad e modellek tanítására használni.

A user agentje tartalmazza a GPTBot tokent, például: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. Az OpenAI megjegyzi, hogy a verziószám változhat, ezért a tokenre illesszen, ne a teljes karakterláncra. Az OpenAI az IP-tartományait a openai.com/gptbot.json címen teszi közzé.

Hogy engedélyezi-e, az irányelvi döntés. Egyes kiadók szeretnék, ha a tartalmuk bekerülne a tanítóadatok közé, mások nem. A blokkolása nem érinti a ChatGPT-keresést, mert azt másik crawler végzi. Ha később meggondolja magát, elég eltávolítani a Disallow sort; nincs mit regisztrálni vagy kérvényezni.

Mit csinál az OAI-SearchBot?

Az OAI-SearchBot az OpenAI keresőcrawlere. Ez teszi láthatóvá a webhelyeket a ChatGPT keresési funkcióiban. Az OpenAI egyértelműen kimondja, hogy azok a webhelyek, amelyek kizárták magukat az OAI-SearchBot elől, nem jelennek meg a ChatGPT keresési válaszaiban.

Ha azt szeretné, hogy a ChatGPT idézze az oldalait, ezt a crawlert kell engedélyeznie, mind a robots.txt-ben, mind a tűzfalban. Az IP-tartományai a openai.com/searchbot.json címen érhetők el, így a tűzfal ellenőrizheti, hogy a kérés valóban az OpenAI-tól érkezik-e.

Mit csinál a ChatGPT-User?

A ChatGPT-User nem crawler a szokásos értelemben. Akkor tölt le egy oldalt, amikor a ChatGPT egy felhasználója vagy egy Custom GPT ezt kéri, például amikor valaki beilleszti az URL-jét egy beszélgetésbe, és összefoglalót kér. Az OpenAI szerint nem használják a web automatikus bejárására.

Az OpenAI dokumentációjából két részlet számít itt. Egyrészt, mivel ezeket a műveleteket a felhasználó indítja, a robots.txt szabályai nem feltétlenül vonatkoznak rájuk. Másrészt a ChatGPT-User-t nem használják annak eldöntésére, hogy egy tartalom megjelenhet-e a keresésben. A keresés szempontjából az OAI-SearchBot beállítása számít.

Mi történik, ha mindegyiket blokkolom?

Az OpenAI azt is megjegyzi, hogy ha a GPTBot és az OAI-SearchBot egyaránt engedélyezett, egy bejárás eredményét felhasználhatja mindkét célra, hogy ne kelljen kétszer bejárnia.

Milyen robots.txt-et használjak az OpenAI crawlereihez?

A legtöbb olyan webhelynek, amely szeretne megjelenni a ChatGPT válaszaiban, azt javasoljuk, hogy engedélyezze a keresőcrawlert, a tanításról pedig külön döntsön. Ez a fájl engedélyezi a keresést, és kizárja a tanítást:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Vegye figyelembe az RFC 9309 egy részletét: a crawler azt a csoportot követi, amely megnevezi, a * csoportot pedig figyelmen kívül hagyja. A fenti példában az OAI-SearchBot bemehetne az /admin/ mappába, mert a saját csoportjában nincs Disallow: /admin/ sor. Minden megnevezett csoportban ismételje meg azokat az útvonalakat, amelyeket privátként szeretne megőrizni. Az OpenAI szerint a keresést érintő változtatások érvénybe lépése nagyjából 24 órát vehet igénybe.

Hogyan győződöm meg róla, hogy a tűzfal átengedi őket?

A robots.txt csak az Ön irányelvét rögzíti. Hogy mit kap valójában az egyes kérés, azt a tűzfal vagy a CDN dönti el. Kérjen le egy oldalt az egyes crawlerek user agentjével, és hasonlítsa össze a státuszkódot és a törzs méretét egy böngészős kéréssel. Ha a crawler 403-at, 429-et vagy kihívásoldalt kap, a böngésző pedig normál oldalt, akkor a tűzfal felülírja a robots.txt-et.

Az AISeeWhy ezt az összehasonlítást egyszerre végzi el mindhárom OpenAI-ügynökre, az OAI-SearchBot és a ChatGPT-User blokkolását P1-nek minősíti, mert idézésekbe kerül, a blokkolt GPTBot-ot pedig P3-as irányelvi döntésként, nem hibaként listázza.

Gyakran ismételt kérdések

Ugyanaz a GPTBot, mint a ChatGPT?

Nem. A GPTBot a tanítóadatokhoz gyűjtő crawler. A ChatGPT-keresés az OAI-SearchBot-ot használja, a felhasználók által kért élő látogatások pedig a ChatGPT-User-től érkeznek.

Engedélyezhetem a ChatGPT-keresést, miközben a tanítást blokkolom?

Igen. Engedélyezze az OAI-SearchBot-ot, és tiltsa a GPTBot-ot a robots.txt-ben. Az OpenAI a két beállítást függetlenként dokumentálja.

Blokkoljam az OpenAI-t IP-cím alapján?

Az IP szerinti blokkolás megakadályozza, hogy a crawler elolvassa a robots.txt-et, és nehezebbé teszi az irányelv módosítását. Általában jobb az irányelvet a robots.txt-ben rögzíteni, a közzétett IP-tartományokat pedig az OpenAI crawlereinek ellenőrzésére használni, nem blokkolására.

Miért a tokenre illesszek, és nem a teljes user agentre?

Az OpenAI szerint a user agentjeiben szereplő verziószám változhat, és a közzétett példák crawlerenként eltérnek. A GPTBot-ra vagy az OAI-SearchBot-ra illesztő szabályok frissítés után is működnek; a pontos karakterláncra illesztők észrevétlenül leállhatnak.

Források

További cikkek