Bolehkah ChatGPT melihat laman web anda? Cara menyemak

Diterbitkan 2026-11-12

Jawapan ringkas

ChatGPT hanya boleh memetik halaman anda jika crawler carian OpenAI, OAI-SearchBot, dibenarkan mengambilnya dan menerima HTML yang sama seperti pelayar. Semak tiga perkara: robots.txt anda tidak melarang OAI-SearchBot, firewall atau CDN tidak membalasnya dengan 403 atau halaman cabaran, dan teks utama berada dalam HTML awal.

Ramai pemilik laman web bertanya kepada ChatGPT tentang produk mereka sendiri, lalu mendapati pesaing yang dipetik, dan tertanya-tanya sama ada ChatGPT dapat mencapai laman mereka langsung. Soalan ini ada jawapan yang konkrit dan boleh diuji. OpenAI menerbitkan nama crawler-nya dan fungsi setiap satu, jadi anda boleh menyemak setiap mata rantai: peraturan robots.txt, respons yang dihantar pelayan anda, dan kandungan dalam respons itu.

Dalam halaman ini

Crawler OpenAI yang mana penting untuk jawapan ChatGPT?
Bagaimana saya menyemak robots.txt untuk ChatGPT?
Bolehkah firewall menyekat ChatGPT walaupun robots.txt membenarkannya?
Bagaimana saya menguji apa yang diterima OAI-SearchBot?
Bagaimana jika halaman dimuatkan tetapi ChatGPT masih tidak memberi jawapan yang berguna?
Bagaimana AISeeWhy menyemak perkara ini?

Crawler OpenAI yang mana penting untuk jawapan ChatGPT?

OpenAI mendokumentasikan tiga ejen yang lazimnya ditemui pemilik laman web. Tugas mereka berbeza, dan menyekat satu tidak menyekat yang lain. OpenAI menyatakan bahawa setiap tetapan robots.txt adalah bebas.

OAI-SearchBot mencari dan mengindeks halaman untuk ciri carian ChatGPT. OpenAI menyatakan laman yang menarik diri daripadanya tidak akan dipaparkan dalam jawapan carian ChatGPT. Inilah yang menentukan sama ada anda boleh dipetik.
GPTBot mengumpul kandungan yang mungkin digunakan untuk melatih model asas OpenAI. Melarangnya bermakna anda menyatakan kandungan anda tidak patut digunakan untuk latihan. Ia tidak mengeluarkan anda daripada jawapan carian.
ChatGPT-User melawat halaman apabila seseorang meminta ChatGPT berbuat demikian, contohnya dengan menampal pautan. OpenAI menyatakan peraturan robots.txt mungkin tidak terpakai untuk lawatan yang dimulakan pengguna ini, dan ejen ini tidak digunakan untuk menentukan sama ada kandungan muncul dalam carian.

Ringkasnya: OAI-SearchBot mengawal petikan, GPTBot mengawal latihan, dan ChatGPT-User mengendalikan lawatan langsung atas permintaan pengguna.

Bagaimana saya menyemak robots.txt untuk ChatGPT?

Buka https://yourdomain.com/robots.txt dalam pelayar. Cari kumpulan yang menamakan OAI-SearchBot. Jika tiada, crawler mengikut kumpulan User-agent: *. Baris Disallow: / dalam mana-mana kumpulan yang terpakai akan menyekat seluruh laman.

Semak juga sama ada fail itu boleh dicapai langsung. Di bawah RFC 9309, jika robots.txt memulangkan ralat pelayan (5xx) atau tidak dapat dicapai, crawler mesti menganggap seluruh laman dilarang. Status 404 tidak mengapa: ia bermakna tiada peraturan. Kesilapan lazim ialah alamat robots.txt yang memulangkan halaman HTML dengan status 200, kerana crawler tidak menemui peraturan yang sah di dalamnya.

Persediaan yang mengekalkan carian ChatGPT dan menolak latihan kelihatan seperti ini:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI menyatakan perubahan untuk carian mungkin mengambil masa kira-kira 24 jam untuk berkuat kuasa selepas anda mengemas kini robots.txt.

Bolehkah firewall menyekat ChatGPT walaupun robots.txt membenarkannya?

Boleh, dan ini punca yang lazim. robots.txt ialah permintaan kepada crawler yang berhemah, bukan kawalan akses. Firewall, CDN atau perlindungan bot anda yang menentukan apa yang sebenarnya dihantar balik. Jika ia menganggap crawler AI sebagai bot yang tidak diingini, crawler menerima 403, 429 atau halaman cabaran seperti skrin "Just a moment..." Cloudflare, sementara orang yang menggunakan pelayar melihat halaman seperti biasa.

Dari luar, ini kelihatan seperti laman yang terbuka kepada semua orang. Hanya permintaan yang mengenal pasti dirinya sebagai crawler menunjukkan perbezaannya. Dalam kes itu robots.txt berkata boleh, pelayan berkata tidak, dan pelayan yang menang.

Bagaimana saya menguji apa yang diterima OAI-SearchBot?

Hantar dua permintaan ke URL yang sama, satu dengan user agent pelayar dan satu lagi dengan user agent crawler, kemudian bandingkan kod status dan saiznya. OpenAI menerbitkan contoh user agent untuk setiap crawler; nombor versinya mungkin berubah.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Jika pelayar mendapat 200 dengan kandungan yang besar manakala crawler mendapat 403, 429, 503 atau kandungan yang jauh lebih kecil, firewall anda melayan crawler secara berbeza. Ada satu had: ujian anda datang daripada alamat IP anda sendiri, bukan IP OpenAI. Firewall yang mengesahkan crawler berdasarkan julat IP yang diterbitkan (OpenAI menyenaraikannya di openai.com/searchbot.json) mungkin membenarkan crawler sebenar masuk tetapi menyekat ujian anda. Sekatan dalam ujian ini tetap menunjukkan cara firewall melayan user agent itu, dan ia wajar dibetulkan.

Bagaimana jika halaman dimuatkan tetapi ChatGPT masih tidak memberi jawapan yang berguna?

Akses hanyalah langkah pertama. Jika HTML yang diterima ialah rangka kosong yang diisi kemudian oleh JavaScript, crawler mungkin hampir tidak menerima teks. Lihat HTML mentah dengan curl atau view-source pelayar anda: jika teks utama tiada di situ, crawler mungkin juga tidak melihatnya.

Selepas itu datang isyarat kandungan: jawapan ringkas yang jelas berhampiran bahagian atas halaman, tajuk yang sepadan dengan soalan yang ditanya orang, penerbit dan penulis yang dinamakan, serta tarikh yang kelihatan. Semua ini tidak menjamin petikan, tetapi menjadikan halaman lebih mudah dipetik dengan betul.

Bagaimana AISeeWhy menyemak perkara ini?

AISeeWhy mengambil halaman anda sebagai OAI-SearchBot, GPTBot, ChatGPT-User dan 11 crawler lain di samping pelayar biasa, membaca robots.txt anda mengikut peraturan RFC 9309 dan menamakan firewall apabila ada yang membalas dengan sekatan atau cabaran. Setiap penemuan disertakan pembetulan yang tinggal ditampal, dan semakan percuma memaparkan skor anda serta penemuan pertama.

Soalan lazim

Adakah menyekat GPTBot mengeluarkan laman saya daripada carian ChatGPT?

Tidak. OpenAI menganggap setiap tetapan crawler sebagai bebas. GPTBot berkaitan dengan latihan, manakala OAI-SearchBot menentukan sama ada halaman boleh dipaparkan dalam jawapan carian ChatGPT. Anda boleh melarang yang satu dan membenarkan yang lain.

Adakah ChatGPT-User mengikut robots.txt?

OpenAI menyatakan kerana lawatan ini dimulakan oleh pengguna, peraturan robots.txt mungkin tidak terpakai. Jika anda mahu menghentikan lawatan itu, peraturan robots.txt bukan kawalan yang boleh diharapkan.

Berapa lama perubahan robots.txt sampai kepada ChatGPT?

OpenAI menyatakan sistemnya mungkin mengambil masa kira-kira 24 jam selepas kemas kini robots.txt untuk menyesuaikan diri bagi carian.

Adakah boleh dicapai sahaja sudah cukup untuk dipetik?

Tidak. Akses menjadikan petikan mungkin berlaku; ia tidak menjaminnya. Apa yang dinyatakan halaman, dan sejelas mana ia dinyatakan, tetap menentukan sama ada halaman digunakan dalam jawapan.