GPTBot
GPTBot är OpenAI:s crawler för innehåll som kan användas för att träna företagets generativa AI-grundmodeller. Att förbjuda den i robots.txt talar om för OpenAI att ditt innehåll inte ska användas för träning. Att blockera den tar inte bort dig från ChatGPT:s sökbaserade svar, som beror på OAI-SearchBot.
Vad den gör
OpenAI säger att GPTBot används för att göra företagets generativa AI-grundmodeller mer användbara och säkra. Den hämtar innehåll som kan användas för att träna modellerna, och att förbjuda GPTBot visar att en sajts innehåll inte ska användas för träning.
Om du tillåter den eller inte är ett policybeslut, inte en fråga om synlighet. ChatGPT:s sökfunktion använder en separat crawler, OAI-SearchBot, och OpenAI dokumenterar de två inställningarna som oberoende av varandra. När båda är tillåtna säger OpenAI att resultatet av en genomsökning kan användas för båda syftena, så att sajten inte behöver genomsökas två gånger.
I vår studie från 2026-11 blockerade 21.4% av de populära sajterna med en robots.txt den. →
robots.txt-token
GPTBot
User agent-sträng
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotSå tillåter du den
User-agent: GPTBot
Allow: /Så blockerar du den
User-agent: GPTBot
Disallow: /Så verifierar du riktiga besök
OpenAI publicerar de IP-intervall som den här agenten använder som en JSON-fil. Jämför förfrågans käll-IP med intervallen; en förfrågan som anger GPTBot men kommer från en annan adress är inte från OpenAI. OpenAI noterar att versionsnumret i user agent kan ändras, så matcha token GPTBot i stället för hela strängen.
Kontrollera om din sajt släpper in den →
OpenAI:s crawlers förklarade: GPTBot, OAI-SearchBot och ChatGPT-User →