GPTBot

OpenAI · Pelatihan AI

GPTBot adalah crawler OpenAI untuk konten yang dapat digunakan melatih model fondasi AI generatifnya. Melarangnya di robots.txt memberi tahu OpenAI agar tidak memakai konten Anda untuk pelatihan. Memblokirnya tidak menghapus Anda dari jawaban pencarian ChatGPT, yang bergantung pada OAI-SearchBot.

Fungsinya

OpenAI menyatakan GPTBot digunakan agar model fondasi AI generatifnya lebih berguna dan aman. Bot ini meng-crawl konten yang dapat digunakan untuk melatih model tersebut, dan melarang GPTBot menandakan bahwa konten situs tidak boleh digunakan untuk pelatihan.

Keputusan mengizinkannya adalah soal kebijakan, bukan visibilitas. Pencarian ChatGPT memakai crawler terpisah, OAI-SearchBot, dan OpenAI mendokumentasikan kedua pengaturan itu sebagai independen. Jika keduanya diizinkan, OpenAI menyatakan dapat memakai hasil satu crawl untuk kedua tujuan agar tidak perlu meng-crawl dua kali.

Dalam studi kami pada 2026-11, 21.4% situs populer yang memiliki robots.txt memblokirnya. →

Token robots.txt

GPTBot

String user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Cara mengizinkannya

User-agent: GPTBot
Allow: /

Cara memblokirnya

User-agent: GPTBot
Disallow: /

Cara memverifikasi kunjungan asli

OpenAI mempublikasikan rentang IP yang digunakan agen ini sebagai file JSON. Cocokkan IP sumber permintaan dengan rentang tersebut; permintaan yang menyebut GPTBot tetapi berasal dari alamat lain bukan berasal dari OpenAI. OpenAI mencatat bahwa nomor versi di user agent dapat berubah, jadi cocokkan token GPTBot, bukan string lengkapnya.

Periksa apakah situs Anda mengizinkannya →

Crawler OpenAI dijelaskan: GPTBot, OAI-SearchBot, dan ChatGPT-User →