Bisakah ChatGPT melihat situs Anda? Cara memeriksanya

Dipublikasikan 2026-11-12

Jawaban singkat

ChatGPT hanya bisa mengutip halaman Anda jika crawler pencarian OpenAI, OAI-SearchBot, boleh mengambilnya dan menerima HTML yang sama dengan yang diterima browser. Periksa tiga hal: robots.txt Anda tidak melarang OAI-SearchBot, firewall atau CDN tidak membalasnya dengan 403 atau halaman tantangan, dan teks utama sudah ada di HTML awal.

Banyak pemilik situs bertanya ke ChatGPT tentang produk mereka sendiri, lalu melihat pesaing yang dikutip, dan bertanya-tanya apakah ChatGPT bisa menjangkau situs mereka sama sekali. Pertanyaan ini punya jawaban yang konkret dan bisa diuji. OpenAI mempublikasikan nama crawler-nya beserta fungsi masing-masing, sehingga Anda bisa memeriksa setiap mata rantainya: aturan robots.txt, respons yang dikirim server Anda, dan isi respons itu.

Di halaman ini

Crawler OpenAI mana yang berpengaruh pada jawaban ChatGPT?
Bagaimana cara memeriksa robots.txt untuk ChatGPT?
Bisakah firewall memblokir ChatGPT meski robots.txt mengizinkannya?
Bagaimana cara menguji apa yang diterima OAI-SearchBot?
Bagaimana jika halaman terbuka tetapi ChatGPT tetap tidak memberi jawaban yang berguna?
Bagaimana AISeeWhy memeriksa hal ini?

Crawler OpenAI mana yang berpengaruh pada jawaban ChatGPT?

OpenAI mendokumentasikan tiga agen yang biasanya dijumpai pemilik situs. Tugas mereka berbeda, dan memblokir satu tidak berarti memblokir yang lain. OpenAI menyatakan bahwa setiap pengaturan robots.txt berdiri sendiri.

OAI-SearchBot menemukan dan mengindeks halaman untuk fitur pencarian ChatGPT. Menurut OpenAI, situs yang menolak crawler ini tidak akan ditampilkan di jawaban pencarian ChatGPT. Inilah crawler yang menentukan apakah Anda bisa dikutip.
GPTBot mengumpulkan konten yang mungkin dipakai untuk melatih model fondasi OpenAI. Melarangnya berarti Anda menyatakan bahwa konten Anda tidak boleh dipakai untuk pelatihan. Ini tidak mengeluarkan Anda dari jawaban pencarian.
ChatGPT-User mengunjungi halaman saat seseorang meminta ChatGPT melakukannya, misalnya dengan menempelkan tautan. Menurut OpenAI, aturan robots.txt mungkin tidak berlaku untuk kunjungan yang dimulai pengguna ini, dan agen ini tidak dipakai untuk menentukan apakah konten muncul di pencarian.

Singkatnya: OAI-SearchBot mengatur kutipan, GPTBot mengatur pelatihan, dan ChatGPT-User menangani kunjungan langsung atas permintaan pengguna.

Bagaimana cara memeriksa robots.txt untuk ChatGPT?

Buka https://yourdomain.com/robots.txt di browser. Cari grup yang menyebut OAI-SearchBot. Jika tidak ada, crawler mengikuti grup User-agent: *. Baris Disallow: / di grup mana pun yang berlaku akan memblokir seluruh situs.

Periksa juga apakah file itu bisa diakses sama sekali. Menurut RFC 9309, jika robots.txt mengembalikan error server (5xx) atau tidak bisa dijangkau, crawler harus menganggap seluruh situs dilarang. Status 404 tidak masalah: artinya tidak ada aturan. Kesalahan yang sering terjadi adalah alamat robots.txt yang mengembalikan halaman HTML dengan status 200, karena crawler tidak menemukan aturan yang valid di dalamnya.

Pengaturan yang mempertahankan pencarian ChatGPT dan menolak pelatihan terlihat seperti ini:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI menyebut perubahan untuk pencarian bisa memerlukan sekitar 24 jam agar berlaku setelah Anda memperbarui robots.txt.

Bisakah firewall memblokir ChatGPT meski robots.txt mengizinkannya?

Bisa, dan ini penyebab yang sering ditemui. robots.txt adalah permintaan kepada crawler yang patuh, bukan kontrol akses. Yang benar-benar menentukan respons adalah firewall, CDN, atau perlindungan bot Anda. Jika semua itu menganggap crawler AI sebagai bot yang tidak diinginkan, crawler menerima 403, 429, atau halaman tantangan seperti layar "Just a moment..." milik Cloudflare, sementara orang yang membuka lewat browser melihat halaman seperti biasa.

Dari luar, situs tampak terbuka untuk semua orang. Perbedaannya baru terlihat pada permintaan yang mengidentifikasi dirinya sebagai crawler. Dalam kasus itu robots.txt berkata boleh, server berkata tidak, dan server yang menang.

Bagaimana cara menguji apa yang diterima OAI-SearchBot?

Kirim dua permintaan ke URL yang sama, satu dengan user agent browser dan satu dengan user agent crawler, lalu bandingkan kode status dan ukurannya. OpenAI menerbitkan contoh user agent untuk tiap crawler; nomor versinya bisa berubah.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Jika browser mendapat 200 dengan isi yang besar sementara crawler mendapat 403, 429, 503, atau isi yang jauh lebih kecil, berarti firewall Anda memperlakukan crawler secara berbeda. Ada satu batasan: pengujian Anda datang dari alamat IP Anda sendiri, bukan dari IP OpenAI. Firewall yang memverifikasi crawler berdasarkan rentang IP yang dipublikasikan (OpenAI mencantumkannya di openai.com/searchbot.json) mungkin meloloskan crawler asli tetapi memblokir pengujian Anda. Blokir dalam pengujian ini tetap menunjukkan bagaimana firewall memperlakukan user agent tersebut, dan itu layak diperbaiki.

Bagaimana jika halaman terbuka tetapi ChatGPT tetap tidak memberi jawaban yang berguna?

Akses baru langkah pertama. Jika HTML yang diterima hanyalah kerangka kosong yang diisi belakangan oleh JavaScript, crawler mungkin hampir tidak menerima teks. Lihat HTML mentahnya dengan curl atau view-source di browser: jika teks utama tidak ada di sana, kemungkinan besar crawler juga tidak melihatnya.

Setelah itu muncul sinyal konten: jawaban singkat yang jelas di bagian atas halaman, judul bagian yang cocok dengan pertanyaan yang diajukan orang, penerbit dan penulis yang disebutkan namanya, serta tanggal yang terlihat. Semua ini tidak menjamin kutipan, tetapi membuat halaman lebih mudah dikutip dengan benar.

Bagaimana AISeeWhy memeriksa hal ini?

AISeeWhy mengambil halaman Anda sebagai OAI-SearchBot, GPTBot, ChatGPT-User, dan 11 crawler lain berdampingan dengan browser biasa, membaca robots.txt Anda menurut aturan RFC 9309, dan menyebut nama firewall jika ada yang membalas dengan blokir atau tantangan. Setiap temuan disertai perbaikan yang tinggal ditempel, dan pemeriksaan gratis menampilkan skor serta temuan pertama Anda.

Pertanyaan yang sering diajukan

Apakah memblokir GPTBot menghapus situs saya dari pencarian ChatGPT?

Tidak. OpenAI memperlakukan setiap pengaturan crawler secara terpisah. GPTBot berkaitan dengan pelatihan, sedangkan OAI-SearchBot menentukan apakah halaman bisa ditampilkan di jawaban pencarian ChatGPT. Anda bisa melarang yang satu dan mengizinkan yang lain.

Apakah ChatGPT-User mengikuti robots.txt?

Menurut OpenAI, karena kunjungan ini dimulai oleh pengguna, aturan robots.txt mungkin tidak berlaku. Jika Anda ingin menghentikan kunjungan itu, aturan robots.txt bukan kontrol yang andal.

Berapa lama perubahan robots.txt sampai ke ChatGPT?

OpenAI menyebut sistemnya bisa memerlukan sekitar 24 jam setelah pembaruan robots.txt untuk menyesuaikan diri di pencarian.

Apakah bisa diakses saja sudah cukup untuk dikutip?

Tidak. Akses membuat kutipan menjadi mungkin; akses tidak menjaminnya. Isi halaman dan seberapa jelas isi itu disampaikan tetap menentukan apakah halaman dipakai dalam jawaban.