GPTBot

OpenAI · Treniranje AI-ja

GPTBot je OpenAI-jev crawler za sadržaj koji se može koristiti za treniranje njegovih temeljnih modela generativnog AI-ja. Zabrana u robots.txt govori OpenAI-ju da vaš sadržaj ne koristi za treniranje. Blokiranje ne uklanja vašu web-stranicu iz odgovora pretraživanja u ChatGPT-u, koji ovise o OAI-SearchBotu.

Kako ga dopustiti

User-agent: GPTBot
Allow: /

Kako ga blokirati

User-agent: GPTBot
Disallow: /

Što radi

OpenAI navodi da se GPTBot koristi kako bi njegovi temeljni modeli generativnog AI-ja bili korisniji i sigurniji. Pretražuje sadržaj koji se može koristiti za treniranje tih modela, a zabrana GPTBota označava da se sadržaj web-stranice ne smije koristiti za treniranje.

Hoćete li ga dopustiti, odluka je o pravilima, a ne o vidljivosti. Pretraživanje u ChatGPT-u koristi zaseban crawler, OAI-SearchBot, a OpenAI te dvije postavke dokumentira kao neovisne. Kada su oba dopuštena, OpenAI navodi da rezultate jednog pretraživanja može koristiti za obje namjene kako ne bi pretraživao dvaput.

U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 21.4% popularnih web-stranica s datotekom robots.txt. →

Token za robots.txt

GPTBot

Niz user agenta

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Kako provjeriti stvarne posjete

OpenAI objavljuje IP raspone koje ovaj agent koristi kao JSON datoteku. Usporedite izvornu IP adresu zahtjeva s tim rasponima; zahtjev koji navodi GPTBot, a dolazi s druge adrese, nije od OpenAI-ja. OpenAI napominje da se broj verzije u user agentu može promijeniti, pa usporedite token GPTBot, a ne cijeli niz.

Provjerite propušta li ga vaša web-stranica →

OpenAI-jevi crawleri: GPTBot, OAI-SearchBot i ChatGPT-User →