GPTBot
GPTBot este crawlerul OpenAI pentru conținut care poate fi folosit la antrenarea modelelor sale de bază de AI generativ. Dacă îl interzici în robots.txt, îi spui OpenAI să nu îți folosească conținutul la antrenare. Blocarea lui nu te scoate din răspunsurile de căutare ChatGPT, care depind de OAI-SearchBot.
Ce face
OpenAI spune că GPTBot este folosit pentru a face modelele sale de bază de AI generativ mai utile și mai sigure. Parcurge conținut care poate fi folosit la antrenarea acestor modele, iar interzicerea lui GPTBot indică faptul că conținutul unui site nu trebuie folosit la antrenare.
Dacă îl permiți sau nu este o decizie de politică, nu una de vizibilitate. Căutarea ChatGPT folosește un crawler separat, OAI-SearchBot, iar OpenAI documentează cele două setări ca fiind independente. Când ambele sunt permise, OpenAI spune că poate folosi rezultatele unei parcurgeri în ambele scopuri, pentru a nu parcurge site-ul de două ori.
În studiul nostru din 2026-11, 21.4% dintre site-urile populare cu robots.txt îl blocau. →
Tokenul robots.txt
GPTBot
Șirul user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotCum îl permiți
User-agent: GPTBot
Allow: /Cum îl blochezi
User-agent: GPTBot
Disallow: /Cum verifici vizitele reale
OpenAI publică intervalele IP folosite de acest agent ca fișier JSON. Compară IP-ul sursă al cererii cu aceste intervale; o cerere care îl numește pe GPTBot, dar vine de la altă adresă, nu este de la OpenAI. OpenAI notează că numărul versiunii din user agent se poate schimba, așa că potrivește tokenul GPTBot, nu șirul întreg.
Verifică dacă site-ul tău îl lasă să intre →
Crawlerele OpenAI explicate: GPTBot, OAI-SearchBot și ChatGPT-User →