Cara menyekat latihan AI tetapi kekal dalam jawapan carian AI

Q: Adakah menyekat GPTBot akan mengeluarkan laman saya daripada jawapan ChatGPT?

Tidak. OpenAI menyatakan GPTBot untuk latihan dan setiap tetapan robots.txt adalah bebas. Carian ChatGPT menggunakan OAI-SearchBot; selagi ia dibenarkan dan tidak disekat oleh firewall anda, halaman anda kekal layak.

Q: Adakah menyekat Google-Extended mengeluarkan saya daripada AI Overviews?

Tidak menurut dokumentasi Google. Google menyatakan Google-Extended tidak menjejaskan kemasukan dalam Google Search, dan AI Overviews menggunakan indeks Search. Google menawarkan kawalan Search Console yang berasingan untuk mengecualikan laman daripada AI Overviews dan AI Mode.

Q: Adakah ada satu baris yang menyekat semua latihan AI?

Tiada baris standard yang berbuat demikian. Content-Signal: ai-train=no menyatakan pilihan itu untuk semua crawler, tetapi sama ada sesuatu crawler mematuhinya bergantung pada operatornya. Kumpulan bernama bagi setiap token latihan ialah cara yang didokumentasikan.

Diterbitkan 2026-11-12

Jawapan ringkas

Kebanyakan vendor AI menggunakan token robots.txt yang berasingan untuk latihan model dan untuk carian. Larang token latihan, seperti GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent dan CCBot, dan benarkan token carian serta pengguna, seperti OAI-SearchBot, Claude-SearchBot dan PerplexityBot. Tambah baris Content-Signal untuk menyatakan pilihan yang sama dengan perkataan.

Ramai pemilik laman web mahukan dua perkara serentak: mereka tidak mahu kandungan mereka digunakan untuk melatih model AI, dan mereka mahu pembantu AI menemui, memetik dan memaut halaman mereka. Oleh sebab vendor utama kini membahagikan tugas ini kepada crawler atau token yang berbeza, robots.txt boleh menyatakan kedua-dua pilihan. Perangkapnya ialah nama berbeza antara vendor, beberapa vendor tidak mengikut corak ini, dan satu baris yang salah boleh mengeluarkan anda daripada jawapan AI dan bukannya daripada data latihan.

Dalam halaman ini

Apakah perbezaan antara crawler latihan dengan crawler carian?
Token mana yang mengawal latihan dan mana yang mengawal carian?
Bagaimanakah rupa robots.txt itu?
Berapa banyak laman sudah melakukan ini?
Apakah yang ditambah oleh Content-Signal?
Di manakah pembahagian ini tidak berfungsi dengan kemas?
Bagaimanakah saya menyemak bahawa pembahagian ini berfungsi?

Apakah perbezaan antara crawler latihan dengan crawler carian?

Crawler latihan mengumpul halaman yang mungkin digunakan untuk membina atau menambah baik model AI. Latihan semata-mata tidak menghasilkan petikan atau pautan. Crawler carian membina indeks yang digunakan pembantu AI untuk mencari sumber bagi sesuatu jawapan, dan sumber itulah yang boleh dipetik. Pengambil yang dicetuskan pengguna membuka halaman secara langsung kerana seseorang bertanya tentangnya.

Vendor mendokumentasikan peranan ini secara berasingan dan menyatakan tetapan itu bebas antara satu sama lain. OpenAI, misalnya, menyatakan setiap tetapan robots.txt untuk crawlernya bebas daripada yang lain. Maka, pilihan keluar daripada latihan, jika dilakukan dengan betul, tidak menjejaskan keterlihatan carian anda.

Token mana yang mengawal latihan dan mana yang mengawal carian?

Inilah token yang didokumentasikan vendor, dikumpulkan mengikut perkara yang dikawalnya:

OpenAI: GPTBot menjelajah kandungan yang mungkin digunakan untuk melatih model asasnya. OAI-SearchBot untuk carian ChatGPT, dan ChatGPT-User mengendalikan tindakan pengguna; OpenAI menyatakan robots.txt mungkin tidak terpakai kepadanya.
Anthropic: ClaudeBot mengumpul kandungan yang boleh menyumbang kepada latihan. Claude-SearchBot menambah baik hasil carian Claude, dan Claude-User mengambil halaman untuk pengguna. Anthropic menyatakan bot-nya mematuhi robots.txt.
Google: Google-Extended ialah token robots.txt tanpa crawler tersendiri. Ia mengawal penggunaan dalam melatih model Gemini akan datang dan dalam grounding untuk Gemini Apps dan Vertex AI. Google menyatakan ia tidak menjejaskan kemasukan atau kedudukan dalam Google Search, yang dikawal melalui Googlebot.
Apple: Applebot-Extended tidak menjelajah; ia mengawal sama ada kandungan yang dijelajah oleh Applebot digunakan untuk melatih model asas Apple. Apple menyatakan halaman yang melarangnya masih boleh muncul dalam hasil carian Apple.
Meta: meta-externalagent menjelajah untuk kegunaan seperti melatih model asas, manakala meta-webindexer menambah baik hasil carian Meta AI.
Common Crawl: CCBot membina arkib web awam Common Crawl. robots.txt terurus Cloudflare menyenaraikannya antara crawler latihan AI yang dilarangnya.
Perplexity: PerplexityBot dan Perplexity-User melayan permintaan carian dan pengguna. Perplexity menyatakan kedua-duanya tidak digunakan untuk mengumpul data latihan, jadi tiada token latihan Perplexity untuk disekat.

Bagaimanakah rupa robots.txt itu?

Beberapa baris User-agent berturutan membentuk satu kumpulan di bawah RFC 9309, jadi peraturan terpakai kepada setiap satunya. Fail ini memilih keluar daripada token latihan di atas, membenarkan ejen carian dan pengguna, dan mengekalkan satu laluan persendirian tertutup untuk semua:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Dua perkara penting. Pertama, kumpulan yang dinamakan tidak mewarisi daripada *, jadi sebarang laluan persendirian mesti diulang dalam kumpulan carian. Kedua, jangan tambah Googlebot atau Applebot ke dalam kumpulan latihan: mereka ialah crawler carian, dan menyekatnya mengeluarkan anda daripada Google Search dan ciri carian Apple. Perubahan tidak serta-merta: OpenAI menyebut kira-kira 24 jam untuk carian, dan Perplexity menyebut sehingga 24 jam.

Berapa banyak laman sudah melakukan ini?

Lebih sedikit daripada yang anda sangka. Kami membaca fail robots.txt bagi 1,000 domain paling popular dalam senarai Tranco pada 2026-11-12. Daripada 518 yang menyediakan robots.txt, 155 (29.9%) melarang halaman utama bagi sekurang-kurangnya satu crawler latihan AI. Hanya 57 (11.0%) mengambil jalan selektif: mereka menyekat crawler latihan dan membenarkan setiap crawler carian dan pengguna AI yang kami uji. Secara keseluruhan, 101 laman (19.5%) menyekat sekurang-kurangnya satu crawler carian atau pengguna AI.

Angka bagi setiap crawler menunjukkan perpecahan yang sama. GPTBot disekat di 111 laman (21.4%) dan OAI-SearchBot di 58 (11.2%). ClaudeBot disekat di 110 (21.2%) dan Claude-SearchBot di 67 (12.9%). Google-Extended disekat di 94 (18.1%), Googlebot di 14 (2.7%). Hanya 18 laman (3.5%) menggunakan Content-Signal.

Kajian ini hanya melihat peraturan robots.txt bagi halaman utama. Ia tidak mengukur sekatan firewall, dan ia tidak menunjukkan apa yang dimaksudkan oleh setiap laman.

Apakah yang ditambah oleh Content-Signal?

Content Signals ialah sambungan robots.txt yang diterbitkan Cloudflare di contentsignals.org. Baris Content-Signal menyatakan bagaimana kandungan boleh digunakan, dengan tiga isyarat: search (membina indeks carian dan memaparkan pautan serta petikan ringkas), ai-input (memasukkan kandungan ke dalam model AI secara masa nyata, seperti grounding atau retrieval untuk jawapan generatif) dan ai-train (melatih atau menala halus model).

Perhatikan bahawa takrif search tidak termasuk ringkasan carian yang dijana AI. Jika anda mahu muncul dalam jawapan AI, tetapkan ai-input=yes juga, seperti dalam contoh di atas. robots.txt terurus Cloudflare menambah search=yes, ai-train=no secara lalai; isyarat yang anda tinggalkan tidak memberi kebenaran mahupun menghadkan penggunaan itu.

Ini ialah pilihan yang dinyatakan. Laman Content Signals menyatakan ia tidak menghalang penjelajahan pada peringkat teknikal, dan Cloudflare menyatakan pematuhan robots.txt adalah sukarela. Tiada satu pun halaman crawler OpenAI, Anthropic, Google atau Perplexity yang kami semak menyatakan sama ada mereka membaca Content-Signal, jadi anggaplah ia sebagai tambahan kepada kumpulan bagi setiap crawler, bukan pengganti.

Di manakah pembahagian ini tidak berfungsi dengan kemas?

Beberapa kes memerlukan perhatian:

Google AI Overviews dan AI Mode menggunakan indeks Search yang dibina oleh Googlebot, jadi Google-Extended tidak mengeluarkan anda daripadanya. Bantuan Search Console Google menambah bahawa Google-Extended menghadkan latihan model di sebalik ciri AI generatif Search, skop yang tidak disebut dalam dokumentasi crawlernya. Google kini menawarkan tetapan Search Console yang berasingan untuk mengecualikan laman daripada AI Overviews dan AI Mode.
OpenAI menyatakan bahawa jika sesebuah laman membenarkan GPTBot dan OAI-SearchBot, ia mungkin menggunakan hasil satu penjelajahan untuk kedua-dua tujuan. Melarang GPTBot ialah isyarat bahawa kandungan tidak patut digunakan untuk latihan.
Pilihan keluar berpandangan ke hadapan. Anthropic, misalnya, menerangkan bahawa melarang ClaudeBot bermaksud mengecualikan kandungan baharu laman anda daripada set data latihan.
Pengambil yang dicetuskan pengguna berada di antara. OpenAI dan Perplexity menyatakan robots.txt mungkin tidak terpakai kepada ChatGPT-User dan umumnya tidak terpakai kepada Perplexity-User.
Firewall tidak membaca robots.txt. Peraturan sekatan bot yang luas boleh menyekat crawler carian yang telah anda benarkan. Jika anda menguatkuasakan sekatan latihan di firewall, padankan ejen latihan mengikut nama dan sahkan mereka melalui julat IP yang diterbitkan.

Bagaimanakah saya menyemak bahawa pembahagian ini berfungsi?

Baca robots.txt anda seperti yang dibaca oleh setiap crawler: cari kumpulan yang menamakannya, kembali kepada * hanya jika tiada, dan gunakan peraturan padanan terpanjang. Kemudian minta halaman dengan user agent setiap crawler carian dan pastikan ia mendapat 200 dengan kandungan penuh, bukan 403 atau halaman cabaran.

AISeeWhy melakukan kedua-duanya untuk 14 crawler, dikumpulkan sebagai ejen latihan, carian dan pengguna, dan menandakan kesilapan paling lazim: menyekat token carian seperti PerplexityBot atau Claude-SearchBot sedangkan niatnya menyekat latihan.

Soalan lazim

Adakah menyekat GPTBot akan mengeluarkan laman saya daripada jawapan ChatGPT?

Tidak. OpenAI menyatakan GPTBot untuk latihan dan setiap tetapan robots.txt adalah bebas. Carian ChatGPT menggunakan OAI-SearchBot; selagi ia dibenarkan dan tidak disekat oleh firewall anda, halaman anda kekal layak.

Adakah menyekat Google-Extended mengeluarkan saya daripada AI Overviews?

Tidak menurut dokumentasi Google. Google menyatakan Google-Extended tidak menjejaskan kemasukan dalam Google Search, dan AI Overviews menggunakan indeks Search. Google menawarkan kawalan Search Console yang berasingan untuk mengecualikan laman daripada AI Overviews dan AI Mode.

Adakah ada satu baris yang menyekat semua latihan AI?

Tiada baris standard yang berbuat demikian. Content-Signal: ai-train=no menyatakan pilihan itu untuk semua crawler, tetapi sama ada sesuatu crawler mematuhinya bergantung pada operatornya. Kumpulan bernama bagi setiap token latihan ialah cara yang didokumentasikan.

Patutkah saya menyekat Perplexity untuk menghentikan latihan AI?

Perplexity menyatakan ejennya tidak digunakan untuk mengumpul data latihan. Menyekat PerplexityBot mengurangkan keterlihatan anda dalam hasil carian Perplexity tanpa menjadi pilihan keluar daripada latihan.