GPTBot

OpenAI · Trénovanie AI

GPTBot je crawler OpenAI pre obsah, ktorý sa môže použiť na trénovanie jej základných modelov generatívnej AI. Zákaz v robots.txt hovorí OpenAI, aby váš obsah na trénovanie nepoužívala. Jeho zablokovanie vás neodstráni z odpovedí vyhľadávania ChatGPT, ktoré závisia od OAI-SearchBot.

Ako ho povoliť

User-agent: GPTBot
Allow: /

Ako ho zablokovať

User-agent: GPTBot
Disallow: /

Čo robí

OpenAI uvádza, že GPTBot slúži na to, aby boli jej základné modely generatívnej AI užitočnejšie a bezpečnejšie. Prechádza obsah, ktorý sa môže použiť pri trénovaní týchto modelov, a zákaz GPTBot znamená, že obsah webu sa na trénovanie používať nemá.

Či ho povoliť, je rozhodnutie o politike, nie o viditeľnosti. Vyhľadávanie ChatGPT používa samostatný crawler, OAI-SearchBot, a OpenAI dokumentuje tieto dve nastavenia ako nezávislé. Keď sú povolené oba, OpenAI uvádza, že výsledky jedného prechodu môže použiť na oba účely, aby nemusela web prechádzať dvakrát.

V našej štúdii z obdobia 2026-11 ho zablokovalo 21.4% populárnych webov s robots.txt. →

Token robots.txt

GPTBot

Reťazec user agenta

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Ako overiť skutočné návštevy

OpenAI zverejňuje rozsahy IP, ktoré tento agent používa, ako súbor JSON. Porovnajte zdrojovú IP požiadavky s týmito rozsahmi; požiadavka, ktorá sa hlási ako GPTBot, ale prichádza z inej adresy, nie je od OpenAI. OpenAI upozorňuje, že číslo verzie v user agentovi sa môže meniť, preto porovnávajte token GPTBot, nie celý reťazec.

Skontrolujte, či ho váš web pustí →

Crawlery OpenAI: GPTBot, OAI-SearchBot a ChatGPT-User →