AISeeWhy
MS
Mulakan percubaan percuma

Crawler OpenAI diterangkan: GPTBot, OAI-SearchBot dan ChatGPT-User

Diterbitkan

Jawapan ringkas

OpenAI menggunakan GPTBot untuk mengumpul kandungan yang mungkin melatih modelnya, OAI-SearchBot untuk mengindeks halaman bagi carian ChatGPT, dan ChatGPT-User untuk lawatan yang diminta seseorang. Menyekat GPTBot hanya menolak latihan. Menyekat OAI-SearchBot mengeluarkan anda daripada jawapan carian ChatGPT. robots.txt mungkin tidak terpakai untuk ChatGPT-User.

Tiga user agent berbeza daripada satu syarikat, masing-masing dengan token robots.txt sendiri, menimbulkan banyak kekeliruan. Ramai pemilik laman menyekat GPTBot sebaik sahaja ia muncul, dan ada yang kemudian mendapati mereka turut menyekat crawler yang menentukan sama ada ChatGPT boleh memetik mereka, selalunya melalui peraturan firewall yang terlalu luas. Artikel ini membincangkan setiap ejen berdasarkan dokumentasi OpenAI sendiri.

Dalam halaman ini
  1. Apakah fungsi GPTBot?
  2. Apakah fungsi OAI-SearchBot?
  3. Apakah fungsi ChatGPT-User?
  4. Apa yang berlaku apabila saya menyekat setiap satu?
  5. Apakah robots.txt yang patut saya gunakan untuk crawler OpenAI?
  6. Bagaimana saya memastikan firewall membenarkan mereka masuk?

Apakah fungsi GPTBot?

GPTBot menjelajah kandungan yang mungkin digunakan untuk melatih model asas AI generatif OpenAI. Dokumentasi OpenAI menyatakan bahawa melarang GPTBot menunjukkan kandungan sesebuah laman tidak patut digunakan untuk melatih model tersebut.

User agent-nya mengandungi token GPTBot, contohnya Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI menyatakan nombor versi mungkin berubah, jadi padankan token, bukan keseluruhan rentetan. OpenAI menerbitkan julat IP-nya di openai.com/gptbot.json.

Sama ada hendak membenarkannya ialah keputusan dasar. Sesetengah penerbit mahu kandungan mereka berada dalam data latihan, yang lain tidak. Menyekatnya tidak menjejaskan carian ChatGPT, kerana itu crawler yang berbeza. Jika anda mengubah fikiran kemudian, memadam baris Disallow sudah memadai; tiada apa-apa yang perlu didaftarkan atau dipohon.

Apakah fungsi OAI-SearchBot?

OAI-SearchBot ialah crawler carian OpenAI. Ia memaparkan laman web dalam ciri carian ChatGPT. OpenAI menyatakan dengan jelas bahawa laman yang menarik diri daripada OAI-SearchBot tidak akan dipaparkan dalam jawapan carian ChatGPT.

Jika anda mahu ChatGPT memetik halaman anda, inilah crawler yang perlu dibenarkan, dalam robots.txt dan dalam firewall anda. Julat IP-nya diterbitkan di openai.com/searchbot.json, yang membolehkan firewall mengesahkan bahawa sesuatu permintaan benar-benar datang daripada OpenAI.

Apakah fungsi ChatGPT-User?

ChatGPT-User bukan crawler dalam erti biasa. Ia mengambil halaman apabila pengguna ChatGPT atau sebuah Custom GPT memintanya, contohnya apabila seseorang menampal URL anda dalam sembang dan meminta ringkasan. OpenAI menyatakan ia tidak digunakan untuk menjelajah web secara automatik.

Dua butiran daripada dokumentasi OpenAI penting di sini. Pertama, kerana tindakan ini dimulakan oleh pengguna, peraturan robots.txt mungkin tidak terpakai. Kedua, ChatGPT-User tidak digunakan untuk menentukan sama ada kandungan boleh muncul dalam carian. Untuk carian, tetapan yang diambil kira ialah OAI-SearchBot.

Apa yang berlaku apabila saya menyekat setiap satu?

OpenAI juga menyatakan bahawa apabila GPTBot dan OAI-SearchBot kedua-duanya dibenarkan, ia mungkin menggunakan hasil satu penjelajahan untuk kedua-dua tujuan bagi mengelakkan menjelajah dua kali.

Apakah robots.txt yang patut saya gunakan untuk crawler OpenAI?

Bagi kebanyakan laman yang mahu muncul dalam jawapan ChatGPT, benarkan crawler carian dan buat keputusan secara berasingan tentang latihan. Fail ini membenarkan carian dan menolak latihan:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Perhatikan satu butiran RFC 9309: crawler mengikut kumpulan yang menamakannya dan mengabaikan kumpulan *. Dalam contoh di atas, OAI-SearchBot akan dibenarkan masuk ke /admin/ kerana kumpulannya sendiri tiada baris Disallow: /admin/. Ulangi mana-mana laluan yang mahu anda rahsiakan dalam setiap kumpulan yang dinamakan. OpenAI menyatakan perubahan carian mungkin mengambil masa kira-kira 24 jam untuk berkuat kuasa.

Bagaimana saya memastikan firewall membenarkan mereka masuk?

robots.txt hanya menyatakan dasar anda. Firewall atau CDN yang menentukan apa yang sebenarnya diterima setiap permintaan. Minta halaman dengan user agent setiap crawler dan bandingkan kod status serta saiz kandungan dengan permintaan pelayar. Jika crawler mendapat 403, 429 atau halaman cabaran sementara pelayar mendapat halaman biasa, firewall mengatasi robots.txt anda.

AISeeWhy menjalankan perbandingan ini untuk ketiga-tiga ejen OpenAI sekali gus, menandakan sekatan OAI-SearchBot dan ChatGPT-User sebagai P1 kerana ia merugikan petikan, dan menyenaraikan GPTBot yang disekat sebagai pilihan dasar P3, bukan ralat.

Soalan lazim

Adakah GPTBot sama dengan ChatGPT?

Tidak. GPTBot ialah crawler untuk data latihan. Carian ChatGPT menggunakan OAI-SearchBot, dan lawatan langsung yang diminta pengguna datang daripada ChatGPT-User.

Bolehkah saya membenarkan carian ChatGPT tetapi menyekat latihan?

Boleh. Benarkan OAI-SearchBot dan larang GPTBot dalam robots.txt. OpenAI mendokumentasikan kedua-dua tetapan itu sebagai bebas.

Patutkah saya menyekat OpenAI mengikut alamat IP?

Menyekat melalui IP menghalang crawler membaca robots.txt anda dan menyukarkan perubahan dasar. Biasanya lebih baik menyatakan dasar dalam robots.txt dan menggunakan julat IP yang diterbitkan untuk mengesahkan, bukan menyekat, crawler OpenAI.

Mengapa padankan token dan bukan keseluruhan user agent?

OpenAI menyatakan nombor versi dalam user agent-nya mungkin berubah, dan contoh rentetan yang diterbitkan berbeza antara crawler. Peraturan yang memadankan GPTBot atau OAI-SearchBot terus berfungsi selepas kemas kini; peraturan yang memadankan rentetan tepat boleh berhenti sepadan tanpa disedari.

Sumber

Artikel lain