AISeeWhy
DA
Start gratis prøveperiode

OpenAI's crawlere forklaret: GPTBot, OAI-SearchBot og ChatGPT-User

Udgivet

Kort svar

OpenAI bruger GPTBot til at indsamle indhold, der kan træne modellerne, OAI-SearchBot til at indeksere sider til ChatGPT-søgning og ChatGPT-User til besøg, en person beder om. Blokerer du GPTBot, fravælger du kun træning. Blokerer du OAI-SearchBot, forsvinder du fra ChatGPT's søgesvar. For ChatGPT-User gælder robots.txt muligvis ikke.

Tre forskellige user agents fra samme virksomhed, hver med sit eget robots.txt-token, skaber megen forvirring. Mange sites blokerede GPTBot, da den dukkede op, og nogle opdagede senere, at de også havde blokeret den crawler, der afgør, om ChatGPT kan citere dem, ofte via en for bred firewallregel. Denne artikel gennemgår hver agent ud fra OpenAI's egen dokumentation.

På denne side
  1. Hvad gør GPTBot?
  2. Hvad gør OAI-SearchBot?
  3. Hvad gør ChatGPT-User?
  4. Hvad sker der, når jeg blokerer dem?
  5. Hvilken robots.txt skal jeg bruge til OpenAI's crawlere?
  6. Hvordan bekræfter jeg, at firewallen lader dem slippe igennem?

Hvad gør GPTBot?

GPTBot gennemgår indhold, som kan bruges til at træne OpenAI's generative AI-foundation-modeller. Ifølge OpenAI's dokumentation angiver et Disallow for GPTBot, at et sites indhold ikke skal bruges til at træne disse modeller.

Dens user agent indeholder tokenet GPTBot, for eksempel Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI bemærker, at versionsnummeret kan ændre sig, så match på tokenet, ikke på hele strengen. OpenAI offentliggør sine IP-intervaller på openai.com/gptbot.json.

Om du vil tillade den, er en politisk beslutning. Nogle udgivere vil gerne have deres indhold med i træningsdata, andre ikke. At blokere den påvirker ikke ChatGPT-søgning, for det er en anden crawler. Hvis du ombestemmer dig senere, er det nok at fjerne linjen Disallow; der er intet at registrere eller ansøge om.

Hvad gør OAI-SearchBot?

OAI-SearchBot er OpenAI's søgecrawler. Den får websites frem i ChatGPT's søgefunktioner. OpenAI siger ligeud, at sites, der har fravalgt OAI-SearchBot, ikke vil blive vist i ChatGPT's søgesvar.

Hvis du vil have ChatGPT til at citere dine sider, er det den crawler, du skal tillade, både i robots.txt og i din firewall. Dens IP-intervaller er offentliggjort på openai.com/searchbot.json, så en firewall kan verificere, at en forespørgsel virkelig kommer fra OpenAI.

Hvad gør ChatGPT-User?

ChatGPT-User er ikke en crawler i almindelig forstand. Den henter en side, når en ChatGPT-bruger eller en Custom GPT beder om det, for eksempel når nogen indsætter din URL i en chat og beder om et resumé. OpenAI siger, at den ikke bruges til automatisk crawling af nettet.

To detaljer fra OpenAI's dokumentation er vigtige her. For det første: Fordi disse handlinger startes af en bruger, gælder robots.txt-regler muligvis ikke. For det andet: ChatGPT-User bruges ikke til at afgøre, om indhold må vises i søgning. For søgning er det indstillingen for OAI-SearchBot, der tæller.

Hvad sker der, når jeg blokerer dem?

OpenAI bemærker også, at når både GPTBot og OAI-SearchBot er tilladt, kan det bruge resultatet af én crawling til begge formål for at undgå at crawle to gange.

Hvilken robots.txt skal jeg bruge til OpenAI's crawlere?

For de fleste sites, der vil vises i ChatGPT-svar, gælder: Tillad søgecrawleren, og beslut særskilt om træning. Denne fil tillader søgning og fravælger træning:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Bemærk en detalje i RFC 9309: En crawler følger den gruppe, der nævner den, og ignorerer gruppen *. I eksemplet ovenfor ville OAI-SearchBot få adgang til /admin/, fordi dens egen gruppe ikke har nogen linje Disallow: /admin/. Gentag derfor de stier, der skal forblive private, i hver navngiven gruppe. OpenAI siger, at ændringer for søgning kan tage omkring 24 timer at slå igennem.

Hvordan bekræfter jeg, at firewallen lader dem slippe igennem?

robots.txt angiver kun din politik. Firewallen eller CDN'et afgør, hvad hver forespørgsel faktisk får. Hent en side med hver crawlers user agent, og sammenlign statuskode og størrelse med en browserforespørgsel. En 403, en 429 eller en udfordringsside til crawleren sammen med en normal side til browseren betyder, at firewallen tilsidesætter din robots.txt.

AISeeWhy kører denne sammenligning for alle tre OpenAI-agenter på én gang, markerer blokeringer af OAI-SearchBot og ChatGPT-User som P1, fordi de koster citater, og opfører en blokeret GPTBot som P3, et politisk valg og ikke en fejl.

Ofte stillede spørgsmål

Er GPTBot det samme som ChatGPT?

Nej. GPTBot er en crawler til træningsdata. ChatGPT-søgning bruger OAI-SearchBot, og live-besøg på brugeres anmodning kommer fra ChatGPT-User.

Kan jeg tillade ChatGPT-søgning, men blokere træning?

Ja. Tillad OAI-SearchBot, og forbyd GPTBot i robots.txt. OpenAI dokumenterer de to indstillinger som uafhængige.

Skal jeg blokere OpenAI via IP-adresse?

Blokering via IP forhindrer crawleren i at læse din robots.txt og gør din politik sværere at ændre. Det er som regel bedre at fastlægge politikken i robots.txt og bruge de offentliggjorte IP-intervaller til at verificere OpenAI's crawlere, ikke til at blokere dem.

Hvorfor matche på tokenet og ikke på hele user agent'en?

OpenAI siger, at versionsnummeret i dets user agents kan ændre sig, og at de eksempelstrenge, det offentliggør, er forskellige fra crawler til crawler. Regler, der matcher på GPTBot eller OAI-SearchBot, virker fortsat efter en opdatering; regler, der matcher på den nøjagtige streng, kan uden varsel holde op med at matche.

Kilder

Flere artikler