AISeeWhy
ID
Mulai uji coba gratis

Crawler OpenAI dijelaskan: GPTBot, OAI-SearchBot, dan ChatGPT-User

Dipublikasikan

Jawaban singkat

OpenAI memakai GPTBot untuk mengumpulkan konten yang mungkin melatih modelnya, OAI-SearchBot untuk mengindeks halaman bagi pencarian ChatGPT, dan ChatGPT-User untuk kunjungan yang diminta seseorang. Memblokir GPTBot hanya menolak pelatihan. Memblokir OAI-SearchBot mengeluarkan Anda dari jawaban pencarian ChatGPT. robots.txt mungkin tidak berlaku untuk ChatGPT-User.

Tiga user agent berbeda dari satu perusahaan, masing-masing dengan token robots.txt sendiri, sering membingungkan. Banyak situs memblokir GPTBot begitu crawler itu muncul, dan sebagian belakangan menyadari bahwa mereka juga memblokir crawler yang menentukan apakah ChatGPT bisa mengutip mereka, biasanya lewat aturan firewall yang terlalu luas. Artikel ini membahas tiap agen berdasarkan dokumentasi resmi OpenAI.

Di halaman ini
  1. Apa fungsi GPTBot?
  2. Apa fungsi OAI-SearchBot?
  3. Apa fungsi ChatGPT-User?
  4. Apa yang terjadi jika saya memblokir masing-masing?
  5. robots.txt seperti apa yang sebaiknya saya pakai untuk crawler OpenAI?
  6. Bagaimana memastikan firewall meloloskan mereka?

Apa fungsi GPTBot?

GPTBot merayapi konten yang mungkin dipakai untuk melatih model fondasi AI generatif OpenAI. Dokumentasi OpenAI menyebut bahwa melarang GPTBot menandakan konten situs tidak boleh dipakai untuk melatih model-model tersebut.

User agent-nya memuat token GPTBot, misalnya Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI mencatat bahwa nomor versi bisa berubah, jadi cocokkan token-nya, bukan seluruh string. OpenAI mempublikasikan rentang IP-nya di openai.com/gptbot.json.

Mengizinkannya atau tidak adalah keputusan kebijakan. Sebagian penerbit ingin kontennya ada di data pelatihan, sebagian lagi tidak. Memblokirnya tidak memengaruhi pencarian ChatGPT, karena itu crawler yang berbeda. Jika nanti Anda berubah pikiran, cukup hapus baris Disallow; tidak ada yang perlu didaftarkan atau diajukan.

Apa fungsi OAI-SearchBot?

OAI-SearchBot adalah crawler pencarian OpenAI. Crawler ini memunculkan situs web di fitur pencarian ChatGPT. OpenAI menyatakan dengan jelas bahwa situs yang menolak OAI-SearchBot tidak akan ditampilkan di jawaban pencarian ChatGPT.

Jika Anda ingin ChatGPT mengutip halaman Anda, inilah crawler yang harus diizinkan, baik di robots.txt maupun di firewall. Rentang IP-nya dipublikasikan di openai.com/searchbot.json, sehingga firewall bisa memverifikasi bahwa suatu permintaan benar-benar berasal dari OpenAI.

Apa fungsi ChatGPT-User?

ChatGPT-User bukan crawler dalam arti biasa. Agen ini mengambil halaman ketika pengguna ChatGPT atau sebuah Custom GPT memintanya, misalnya saat seseorang menempelkan URL Anda ke obrolan dan meminta ringkasan. OpenAI menyatakan agen ini tidak dipakai untuk merayapi web secara otomatis.

Dua detail dari dokumentasi OpenAI penting di sini. Pertama, karena tindakan ini dimulai oleh pengguna, aturan robots.txt mungkin tidak berlaku. Kedua, ChatGPT-User tidak dipakai untuk menentukan apakah konten boleh muncul di pencarian. Untuk pencarian, pengaturan yang berpengaruh adalah OAI-SearchBot.

Apa yang terjadi jika saya memblokir masing-masing?

OpenAI juga mencatat bahwa jika GPTBot dan OAI-SearchBot sama-sama diizinkan, hasil satu kali perayapan mungkin dipakai untuk kedua tujuan agar tidak merayapi dua kali.

robots.txt seperti apa yang sebaiknya saya pakai untuk crawler OpenAI?

Bagi sebagian besar situs yang ingin muncul di jawaban ChatGPT, izinkan crawler pencarian dan putuskan secara terpisah soal pelatihan. File ini mengizinkan pencarian dan menolak pelatihan:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Perhatikan satu detail RFC 9309: crawler mengikuti grup yang menyebut namanya dan mengabaikan grup *. Pada contoh di atas, OAI-SearchBot akan diizinkan masuk ke /admin/ karena grupnya sendiri tidak punya baris Disallow: /admin/. Ulangi path apa pun yang ingin Anda jaga tetap privat di setiap grup bernama. OpenAI menyebut perubahan untuk pencarian bisa memerlukan sekitar 24 jam agar berlaku.

Bagaimana memastikan firewall meloloskan mereka?

robots.txt hanya menyatakan kebijakan Anda. Yang menentukan apa yang benar-benar diterima setiap permintaan adalah firewall atau CDN. Minta sebuah halaman dengan user agent tiap crawler, lalu bandingkan kode status dan ukuran isinya dengan permintaan dari browser. Jika crawler mendapat 403, 429, atau halaman tantangan sementara browser mendapat halaman normal, berarti firewall menimpa robots.txt Anda.

AISeeWhy menjalankan perbandingan ini untuk ketiga agen OpenAI sekaligus, menandai blokir OAI-SearchBot dan ChatGPT-User sebagai P1 karena merugikan kutipan, dan mencantumkan GPTBot yang diblokir sebagai pilihan kebijakan P3, bukan error.

Pertanyaan yang sering diajukan

Apakah GPTBot sama dengan ChatGPT?

Tidak. GPTBot adalah crawler untuk data pelatihan. Pencarian ChatGPT memakai OAI-SearchBot, dan kunjungan langsung atas permintaan pengguna berasal dari ChatGPT-User.

Bisakah saya mengizinkan pencarian ChatGPT tetapi memblokir pelatihan?

Bisa. Izinkan OAI-SearchBot dan larang GPTBot di robots.txt. OpenAI mendokumentasikan kedua pengaturan itu sebagai pengaturan yang terpisah.

Haruskah saya memblokir OpenAI berdasarkan alamat IP?

Memblokir lewat IP membuat crawler tidak bisa membaca robots.txt Anda dan mempersulit perubahan kebijakan. Biasanya lebih baik menyatakan kebijakan di robots.txt dan memakai rentang IP yang dipublikasikan untuk memverifikasi, bukan memblokir, crawler OpenAI.

Mengapa mencocokkan token dan bukan seluruh user agent?

OpenAI menyebut nomor versi di user agent-nya bisa berubah, dan contoh string yang dipublikasikan berbeda antar crawler. Aturan yang mencocokkan GPTBot atau OAI-SearchBot tetap berfungsi setelah pembaruan; aturan yang mencocokkan string persis bisa berhenti cocok tanpa disadari.

Sumber

Artikel lainnya