GPTBot
GPTBot je OpenAI-jev crawler za sadržaj koji se može koristiti za treniranje njegovih temeljnih modela generativnog AI-ja. Zabrana u robots.txt govori OpenAI-ju da vaš sadržaj ne koristi za treniranje. Blokiranje ne uklanja vašu web-stranicu iz odgovora pretraživanja u ChatGPT-u, koji ovise o OAI-SearchBotu.
Kako ga dopustiti
User-agent: GPTBot
Allow: / Kako ga blokirati
User-agent: GPTBot
Disallow: / Što radi
OpenAI navodi da se GPTBot koristi kako bi njegovi temeljni modeli generativnog AI-ja bili korisniji i sigurniji. Pretražuje sadržaj koji se može koristiti za treniranje tih modela, a zabrana GPTBota označava da se sadržaj web-stranice ne smije koristiti za treniranje.
Hoćete li ga dopustiti, odluka je o pravilima, a ne o vidljivosti. Pretraživanje u ChatGPT-u koristi zaseban crawler, OAI-SearchBot, a OpenAI te dvije postavke dokumentira kao neovisne. Kada su oba dopuštena, OpenAI navodi da rezultate jednog pretraživanja može koristiti za obje namjene kako ne bi pretraživao dvaput.
U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 21.4% popularnih web-stranica s datotekom robots.txt. →
Token za robots.txt
GPTBot
Niz user agenta
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot Kako provjeriti stvarne posjete
OpenAI objavljuje IP raspone koje ovaj agent koristi kao JSON datoteku. Usporedite izvornu IP adresu zahtjeva s tim rasponima; zahtjev koji navodi GPTBot, a dolazi s druge adrese, nije od OpenAI-ja. OpenAI napominje da se broj verzije u user agentu može promijeniti, pa usporedite token GPTBot, a ne cijeli niz.
Provjerite propušta li ga vaša web-stranica →
OpenAI-jevi crawleri: GPTBot, OAI-SearchBot i ChatGPT-User →