GPTBot

OpenAI · Trénování AI

GPTBot je crawler společnosti OpenAI pro obsah, který může být použit k trénování jejích generativních základních modelů AI. Zakázáním v robots.txt dáte OpenAI najevo, aby váš obsah k trénování nepoužívala. Z odpovědí ve vyhledávání ChatGPT vás to neodstraní, ty závisejí na OAI-SearchBot.

Co dělá

Podle OpenAI se GPTBot používá k tomu, aby byly generativní základní modely AI této společnosti užitečnější a bezpečnější. Stahuje obsah, který může být použit při trénování těchto modelů, a zakázání GPTBot naznačuje, že obsah webu by se k trénování používat neměl.

Zda ho povolit, je otázka pravidel, ne viditelnosti. Vyhledávání ChatGPT používá samostatný crawler, OAI-SearchBot, a OpenAI obě nastavení dokumentuje jako nezávislá. Pokud jsou povoleny oba, OpenAI uvádí, že může výsledky jednoho procházení použít pro oba účely, aby web neprocházela dvakrát.

V naší studii z období 2026-11 ho zablokovalo 21.4% oblíbených webů s robots.txt. →

Token pro robots.txt

GPTBot

Řetězec user agenta

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Jak ho povolit

User-agent: GPTBot
Allow: /

Jak ho zablokovat

User-agent: GPTBot
Disallow: /

Jak ověřit skutečné návštěvy

OpenAI zveřejňuje rozsahy IP, které tento agent používá, jako soubor JSON. Porovnejte zdrojovou IP požadavku s těmito rozsahy; požadavek, který uvádí GPTBot, ale přichází z jiné adresy, není od OpenAI. OpenAI upozorňuje, že číslo verze v user agentu se může měnit, proto porovnávejte token GPTBot, ne celý řetězec.

Zkontrolujte, zda ho váš web pouští →

Crawlery OpenAI vysvětleně: GPTBot, OAI-SearchBot a ChatGPT-User →