AISeeWhy
SV
Starta gratis prov

OpenAI:s crawlers förklarade: GPTBot, OAI-SearchBot och ChatGPT-User

Publicerad

Kort svar

OpenAI använder GPTBot för att samla in innehåll som kan träna företagets modeller, OAI-SearchBot för att indexera sidor för ChatGPT-sök och ChatGPT-User för besök som en person ber om. Om du blockerar GPTBot väljer du bara bort träning. Om du blockerar OAI-SearchBot försvinner du från ChatGPT:s söksvar. robots.txt gäller kanske inte för ChatGPT-User.

Tre olika user agents från samma företag, var och en med sin egen robots.txt-token, skapar mycket förvirring. Många webbplatser blockerade GPTBot när den dök upp, och en del upptäckte senare att de också hade blockerat crawlern som avgör om ChatGPT kan citera dem, ofta genom en bred brandväggsregel. Den här artikeln går igenom varje agent med stöd av OpenAI:s egen dokumentation.

På den här sidan
  1. Vad gör GPTBot
  2. Vad gör OAI-SearchBot
  3. Vad gör ChatGPT-User
  4. Vad händer när jag blockerar var och en
  5. Vilken robots.txt ska jag använda för OpenAI:s crawlers
  6. Hur bekräftar jag att brandväggen släpper igenom dem

Vad gör GPTBot

GPTBot hämtar innehåll som kan användas för att träna OpenAI:s generativa AI-grundmodeller. Enligt OpenAI:s dokumentation innebär ett nekande av GPTBot att en webbplats innehåll inte ska användas för att träna dessa modeller.

Dess user agent innehåller token GPTBot, till exempel Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI påpekar att versionsnumret kan ändras, så matcha på token och inte på hela strängen. OpenAI publicerar sina IP-intervall på openai.com/gptbot.json.

Om du ska tillåta den är ett policybeslut. Vissa utgivare vill ha sitt innehåll i träningsdata, andra inte. Att blockera den påverkar inte ChatGPT-sök, eftersom det är en annan crawler. Ångrar du dig senare räcker det att ta bort raden Disallow; det finns inget att registrera eller begära.

Vad gör OAI-SearchBot

OAI-SearchBot är OpenAI:s sökcrawler. Den lyfter fram webbplatser i ChatGPT:s sökfunktioner. OpenAI skriver rakt ut att webbplatser som har valt bort OAI-SearchBot inte visas i ChatGPT:s söksvar.

Vill du att ChatGPT ska citera dina sidor är det den här crawlern du ska tillåta, både i robots.txt och i brandväggen. Dess IP-intervall publiceras på openai.com/searchbot.json, så att en brandvägg kan verifiera att en begäran verkligen kommer från OpenAI.

Vad gör ChatGPT-User

ChatGPT-User är inte en crawler i vanlig mening. Den hämtar en sida när en ChatGPT-användare eller en Custom GPT ber om det, till exempel när någon klistrar in din URL i en chatt och ber om en sammanfattning. OpenAI säger att den inte används för automatisk genomsökning av webben.

Två detaljer i OpenAI:s dokumentation är viktiga här. För det första kan robots.txt-regler inte gälla eftersom åtgärderna initieras av en användare. För det andra används ChatGPT-User inte för att avgöra om innehåll får visas i sök. För sök är det OAI-SearchBot som räknas.

Vad händer när jag blockerar var och en

OpenAI påpekar också att när både GPTBot och OAI-SearchBot är tillåtna kan resultatet av en genomsökning användas för båda ändamålen, för att slippa söka igenom sidan två gånger.

Vilken robots.txt ska jag använda för OpenAI:s crawlers

För de flesta webbplatser som vill synas i ChatGPT-svar bör du tillåta sökcrawlern och besluta separat om träning. Den här filen tillåter sök och väljer bort träning:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Notera en detalj i RFC 9309: en crawler följer den grupp som nämner den och ignorerar gruppen *. I exemplet ovan skulle OAI-SearchBot släppas in i /admin/ eftersom dess egen grupp saknar raden Disallow: /admin/. Upprepa alla sökvägar som ska hållas privata i varje namngiven grupp. OpenAI säger att ändringar för sök kan ta cirka 24 timmar att slå igenom.

Hur bekräftar jag att brandväggen släpper igenom dem

robots.txt anger bara din policy. Brandväggen eller CDN:en avgör vad varje begäran faktiskt får. Hämta en sida med varje crawlers user agent och jämför statuskod och storlek med en begäran från webbläsaren. En 403, en 429 eller en utmaningssida för crawlern, med en normal sida för webbläsaren, betyder att brandväggen överstyr din robots.txt.

AISeeWhy kör den här jämförelsen för alla tre OpenAI-agenter samtidigt, markerar blockeringar av OAI-SearchBot och ChatGPT-User som P1 eftersom de kostar citeringar, och listar en blockerad GPTBot som ett P3-policyval snarare än ett fel.

Vanliga frågor

Är GPTBot samma sak som ChatGPT?

Nej. GPTBot är en crawler för träningsdata. ChatGPT-sök använder OAI-SearchBot, och live-besök som användare begär kommer från ChatGPT-User.

Kan jag tillåta ChatGPT-sök men blockera träning?

Ja. Tillåt OAI-SearchBot och neka GPTBot i robots.txt. OpenAI dokumenterar de två inställningarna som oberoende.

Ska jag blockera OpenAI med IP-adress?

Att blockera med IP hindrar crawlern från att läsa din robots.txt och gör det svårare att ändra din policy. Oftast är det bättre att ange policyn i robots.txt och använda de publicerade IP-intervallen för att verifiera OpenAI:s crawlers, inte för att blockera dem.

Varför ska man matcha på token och inte på hela user agent?

OpenAI säger att versionsnumret i dess user agents kan ändras, och exempelsträngarna som publiceras skiljer sig mellan crawlers. Regler som matchar GPTBot eller OAI-SearchBot fortsätter fungera efter en uppdatering; regler som matchar den exakta strängen kan tyst sluta matcha.

Källor

Fler artiklar