OpenAIs crawlere forklart: GPTBot, OAI-SearchBot og ChatGPT-User
OpenAI bruker GPTBot til å samle inn innhold som kan trene selskapets modeller, OAI-SearchBot til å indeksere sider for ChatGPT-søk og ChatGPT-User til besøk en person ber om. Hvis du blokkerer GPTBot, velger du bare bort trening. Hvis du blokkerer OAI-SearchBot, forsvinner du fra ChatGPTs søkesvar. robots.txt gjelder kanskje ikke for ChatGPT-User.
Tre ulike user agents fra ett selskap, hver med sin egen robots.txt-token, skaper mye forvirring. Mange nettsteder blokkerte GPTBot da den dukket opp, og noen oppdaget senere at de også hadde blokkert crawleren som avgjør om ChatGPT kan sitere dem, ofte gjennom en bred brannmurregel. Denne artikkelen går gjennom hver agent med utgangspunkt i OpenAIs egen dokumentasjon.
På denne siden
Hva gjør GPTBot
GPTBot henter innhold som kan brukes til å trene OpenAIs generative AI-grunnmodeller. Ifølge OpenAIs dokumentasjon betyr det å nekte GPTBot at innholdet på et nettsted ikke skal brukes til å trene disse modellene.
User agent-en inneholder token GPTBot, for eksempel Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI understreker at versjonsnummeret kan endre seg, så match på token, ikke på hele strengen. OpenAI publiserer IP-områdene sine på openai.com/gptbot.json.
Om du skal tillate den, er et policyvalg. Noen utgivere vil ha innholdet sitt i treningsdata, andre ikke. Å blokkere den påvirker ikke ChatGPT-søk, fordi det er en annen crawler. Hvis du ombestemmer deg senere, er det nok å fjerne linjen Disallow; det er ingenting å registrere eller be om.
Hva gjør OAI-SearchBot
OAI-SearchBot er OpenAIs søkecrawler. Den løfter fram nettsteder i ChatGPTs søkefunksjoner. OpenAI sier rett ut at nettsteder som har valgt bort OAI-SearchBot, ikke vises i ChatGPTs søkesvar.
Hvis du vil at ChatGPT skal sitere sidene dine, er dette crawleren du bør tillate, både i robots.txt og i brannmuren. IP-områdene er publisert på openai.com/searchbot.json, slik at en brannmur kan verifisere at en forespørsel virkelig kommer fra OpenAI.
Hva gjør ChatGPT-User
ChatGPT-User er ikke en crawler i vanlig forstand. Den henter en side når en ChatGPT-bruker eller en Custom GPT ber om det, for eksempel når noen limer inn URL-en din i en chat og ber om et sammendrag. OpenAI sier at den ikke brukes til automatisk gjennomgang av nettet.
To detaljer i OpenAIs dokumentasjon er viktige her. For det første kan robots.txt-regler ikke gjelde, fordi handlingene startes av en bruker. For det andre brukes ChatGPT-User ikke til å avgjøre om innhold kan vises i søk. For søk er det OAI-SearchBot som teller.
Hva skjer når jeg blokkerer hver av dem
- Blokker
GPTBot: innholdet ditt merkes som ikke til bruk i trening. ChatGPT-søk kan fortsatt vise og sitere deg hvisOAI-SearchBoter tillatt. - Blokker
OAI-SearchBot: sidene dine vises ikke i ChatGPTs søkesvar. Trening styres separat avGPTBot. - Blokker
ChatGPT-Useri robots.txt: OpenAI sier at robots.txt kanskje ikke gjelder for disse besøkene, så effekten er ikke garantert. Blokkerer du den i brannmuren, stoppes hentingen, og brukere som limer inn lenken din, får en feil i stedet for innholdet ditt. - Blokker alle tre i brannmuren: ChatGPT kan verken indeksere eller hente sidene dine og har dermed ingenting av deg å sitere.
- Tillat alle tre: sidene dine kan indekseres for søk, hentes på forespørsel og, via
GPTBot, brukes til trening.
OpenAI påpeker også at når både GPTBot og OAI-SearchBot er tillatt, kan resultatet av én gjennomgang brukes til begge formål, for å unngå å gå gjennom siden to ganger.
Hvilken robots.txt bør jeg bruke for OpenAIs crawlere
For de fleste nettsteder som vil vises i ChatGPT-svar, bør du tillate søkecrawleren og bestemme deg separat for trening. Denne filen tillater søk og velger bort trening:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/Merk deg en detalj i RFC 9309: en crawler følger gruppen som nevner den, og ignorerer gruppen *. I eksempelet over ville OAI-SearchBot fått tilgang til /admin/, fordi dens egen gruppe ikke har linjen Disallow: /admin/. Gjenta alle stier som skal holdes private, i hver navngitte gruppe. OpenAI sier at søkeendringer kan ta omtrent 24 timer å tre i kraft.
Hvordan bekrefter jeg at brannmuren slipper dem gjennom
robots.txt oppgir bare policyen din. Brannmuren eller CDN-en avgjør hva hver forespørsel faktisk får. Hent en side med hver crawlers user agent og sammenlign statuskode og størrelse med en nettleserforespørsel. En 403, en 429 eller en utfordringsside til crawleren, med en vanlig side til nettleseren, betyr at brannmuren overstyrer robots.txt.
AISeeWhy kjører denne sammenligningen for alle tre OpenAI-agentene samtidig, markerer blokkeringer av OAI-SearchBot og ChatGPT-User som P1 fordi de koster siteringer, og lister en blokkert GPTBot som et P3-policyvalg i stedet for en feil.
Vanlige spørsmål
Er GPTBot det samme som ChatGPT?
Nei. GPTBot er en crawler for treningsdata. ChatGPT-søk bruker OAI-SearchBot, og live-besøk som brukere ber om, kommer fra ChatGPT-User.
Kan jeg tillate ChatGPT-søk, men blokkere trening?
Ja. Tillat OAI-SearchBot og nekt GPTBot i robots.txt. OpenAI dokumenterer de to innstillingene som uavhengige.
Bør jeg blokkere OpenAI med IP-adresse?
Å blokkere med IP hindrer crawleren i å lese robots.txt og gjør det vanskeligere å endre policyen. Som regel er det bedre å oppgi policyen i robots.txt og bruke de publiserte IP-områdene til å verifisere OpenAIs crawlere, ikke til å blokkere dem.
Hvorfor matche på token og ikke på hele user agent?
OpenAI sier at versjonsnummeret i user agents kan endre seg, og eksempelstrengene som publiseres, er ulike fra crawler til crawler. Regler som matcher GPTBot eller OAI-SearchBot, fortsetter å virke etter en oppdatering; regler som matcher den nøyaktige strengen, kan i det stille slutte å treffe.