GPTBot
GPTBot je crawler OpenAI pre obsah, ktorý sa môže použiť na trénovanie jej základných modelov generatívnej AI. Zákaz v robots.txt hovorí OpenAI, aby váš obsah na trénovanie nepoužívala. Jeho zablokovanie vás neodstráni z odpovedí vyhľadávania ChatGPT, ktoré závisia od OAI-SearchBot.
Ako ho povoliť
User-agent: GPTBot
Allow: / Ako ho zablokovať
User-agent: GPTBot
Disallow: / Čo robí
OpenAI uvádza, že GPTBot slúži na to, aby boli jej základné modely generatívnej AI užitočnejšie a bezpečnejšie. Prechádza obsah, ktorý sa môže použiť pri trénovaní týchto modelov, a zákaz GPTBot znamená, že obsah webu sa na trénovanie používať nemá.
Či ho povoliť, je rozhodnutie o politike, nie o viditeľnosti. Vyhľadávanie ChatGPT používa samostatný crawler, OAI-SearchBot, a OpenAI dokumentuje tieto dve nastavenia ako nezávislé. Keď sú povolené oba, OpenAI uvádza, že výsledky jedného prechodu môže použiť na oba účely, aby nemusela web prechádzať dvakrát.
V našej štúdii z obdobia 2026-11 ho zablokovalo 21.4% populárnych webov s robots.txt. →
Token robots.txt
GPTBot
Reťazec user agenta
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot Ako overiť skutočné návštevy
OpenAI zverejňuje rozsahy IP, ktoré tento agent používa, ako súbor JSON. Porovnajte zdrojovú IP požiadavky s týmito rozsahmi; požiadavka, ktorá sa hlási ako GPTBot, ale prichádza z inej adresy, nie je od OpenAI. OpenAI upozorňuje, že číslo verzie v user agentovi sa môže meniť, preto porovnávajte token GPTBot, nie celý reťazec.