Apakah Content-Signal dalam robots.txt, dan adakah sesiapa mematuhinya?

Diterbitkan

Jawapan ringkas

Content-Signal ialah baris robots.txt pilihan, diterbitkan oleh Cloudflare, yang menyatakan cara kandungan anda boleh digunakan selepas diambil: search untuk hasil carian, ai-input untuk menyalurkannya ke dalam jawapan AI dan ai-train untuk melatih model, masing-masing ditetapkan kepada yes atau no, seperti dalam Content-Signal: search=yes, ai-input=yes, ai-train=no. Ia menyatakan keutamaan dan tidak menyekat apa-apa. Setakat November 2026, tiada halaman crawler OpenAI, Anthropic, Google atau Perplexity yang menyatakan ia membacanya, manakala syarikat AI besar menyokong token lain yang khusus untuk latihan sahaja.

robots.txt dibina untuk menyatakan ke mana crawler boleh pergi, bukan apa yang boleh dilakukan dengan apa yang dibacanya. Apabila satu pengambilan yang sama boleh mengisi indeks carian, jawapan AI langsung dan set latihan, jurang itu menjadi penting. Cloudflare menerbitkan Content Signals Policy pada 24 September 2025 di bawah lesen CC0 untuk mengisinya, dan ketika itu menyatakan pelanggannya telah menghidupkan robots.txt terurus untuk lebih 3.8 juta domain, ciri yang kini menambah baris itu untuk mereka.

Dalam halaman ini
  1. Apakah maksud search, ai-input dan ai-train?
  2. Bagaimanakah saya menulis baris Content-Signal dalam robots.txt?
  3. Apa kata teks dasar di atas baris itu?
  4. Adakah Content-Signal sudah ada dalam robots.txt saya?
  5. Adakah crawler AI mematuhi Content-Signal?
  6. Patutkah saya menambah Content-Signal pada robots.txt saya?
  7. Bagaimanakah saya menyemak apa yang dinyatakan robots.txt saya kepada setiap crawler?

Apakah maksud search, ai-input dan ai-train?

Dasar ini mentakrifkan tiga isyarat. Kata-kata di bawah mengikut contentsignals.org dan teks dasar yang diterbitkan Cloudflare:

Setiap isyarat menerima yes atau no. Menurut dasar itu, yes bermakna kandungan boleh dikumpul untuk kegunaan itu, no bermakna tidak boleh, dan isyarat yang anda tinggalkan tidak memberi atau menyekat kegunaan itu. Tetapan lalai Cloudflare menetapkan search dan ai-train dan membiarkan ai-input tanpa nilai, kerana ia menyatakan tidak mengetahui keutamaan setiap pelanggan untuk isyarat itu dan tidak mahu meneka.

Pembahagian antara search dan ai-input ialah perkara yang paling kerap terlepas. Jika anda mahu halaman anda digunakan dalam jawapan AI, search=yes sahaja tidak menyatakannya. ai-input=yes yang menyatakannya.

Bagaimanakah saya menulis baris Content-Signal dalam robots.txt?

Content-Signal diletakkan dalam kumpulan user agent, bersebelahan Allow dan Disallow, dengan isyarat dipisahkan oleh koma. contentsignals.org juga menunjukkan bentuk yang bermula dengan laluan, supaya satu bahagian laman boleh membawa isyarat yang berbeza daripada bahagian lain:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow dan Disallow terus berfungsi seperti sebelum ini, dan Content-Signal tidak menggantikannya. RFC 9309 membenarkan crawler mentafsir rekod yang bukan sebahagian daripada protokol, asalkan ia tidak mengganggu peraturan yang ditakrifkan, jadi penghurai yang tidak mengenali baris itu sepatutnya melangkaunya.

Dua butiran patut diketahui. Pertama, baris itu milik sesuatu kumpulan. Di bawah RFC 9309, crawler yang mempunyai kumpulan dengan namanya sendiri mengabaikan kumpulan User-agent: * sepenuhnya, dan halaman Content Signals tidak menerangkan sebarang pengecualian untuk baris ini. Jika anda memberi Googlebot atau OAI-SearchBot kumpulan sendiri, ulang baris Content-Signal di situ, seperti yang dilakukan contentsignals.org dalam contoh setiap crawlernya. Kedua, Google Search Console mungkin melaporkan Syntax not understood untuk baris itu. Dokumentasi Cloudflare menyebut perkara ini dan menyatakan ia tidak memerhatikan sebarang kesan pada perangkakan atau SEO. Dokumentasi robots.txt Google hanya menyenaraikan user-agent, allow, disallow dan sitemap sebagai medan yang disokong.

Apa kata teks dasar di atas baris itu?

Content Signals Policy lebih daripada satu baris. Penjana Cloudflare di contentsignals.org dan robots.txt terurusnya kedua-duanya meletakkan blok komen di atas isyarat. Ia bermula dengan menyatakan bahawa, sebagai syarat untuk mengakses laman web, anda bersetuju untuk mematuhi isyarat kandungan, kemudian mentakrifkan tiga isyarat itu serta kes yes, no dan yang tiada nilai.

Ia berakhir dengan ayat dalam huruf besar yang menyatakan bahawa sebarang sekatan yang dinyatakan melalui isyarat kandungan ialah reservasi hak yang nyata di bawah Article 4 EU Directive 2019/790 tentang hak cipta dalam Digital Single Market. Pengumuman Cloudflare menambah bahawa isyarat itu mungkin mempunyai kesan undang-undang di pelbagai bidang kuasa.

contentsignals.org sendiri memberi amaran bahawa mahkamah dan pengawal selia mungkin membuat kesimpulan bahawa fail robots.txt tidak mengenakan kewajipan undang-undang yang boleh dikuatkuasakan, dan mencadangkan anda berunding dengan peguam. Anggap blok komen itu sebagai kenyataan bertulis tentang pendirian anda, bukan kontrak.

Adakah Content-Signal sudah ada dalam robots.txt saya?

Jika laman anda berada di Cloudflare, mungkin ya, dalam salah satu daripada dua cara:

Bahagian use=reference adalah baharu. Cloudflare menerangkan use sebagai medan keempat pilihan yang sedang diujinya, dengan tiga nilai: immediate (berinteraksi, tetapi tidak menyimpan atau menggunakan semula apa-apa), reference (mengindeks, memetik dan memaut kembali) dan full (meringkaskan dan menghasilkan semula). Ia bukan salah satu daripada tiga isyarat asal, dan tiada dokumentasi crawler yang kami semak menyebutnya.

Oleh sebab Cloudflare menambah baris ini di edge, fail dalam repositori anda boleh kelihatan tidak berubah sedangkan fail yang diterima crawler berbeza. Ambil https://yourdomain.com/robots.txt yang aktif sebelum menambah baris anda sendiri, supaya respons itu tidak menyatakan dua dasar yang berbeza.

Penggunaannya masih rendah dalam kalangan laman besar. Dalam kajian kami pada November 2026 terhadap 1,000 domain paling popular, 18 daripada 518 laman yang menyediakan robots.txt (3.5%) menggunakan Content-Signal.

Adakah crawler AI mematuhi Content-Signal?

Tidak menurut mana-mana dokumentasi yang kami temui. Pada 17 November 2026 kami menyemak halaman crawler OpenAI, Anthropic, Google dan Perplexity, dan tiada satu pun yang menyebut Content-Signal. Cloudflare sendiri menerangkan isyarat itu sebagai keutamaan, bukan langkah teknikal menentang pengikisan, dan menyatakan sesetengah syarikat mungkin hanya mengabaikannya.

Apa yang telah didokumenkan syarikat AI ialah mekanisme lain berdasarkan kerja dalam kumpulan kerja IETF AI Preferences: token dasar, __usage_ai-training, yang ditulis sebagai kumpulan User-Agent biasa. Ia hanya meliputi latihan, dan Internet-Draft yang mentakrifkannya menyatakan kumpulan User-Agent: * tidak dikira sebagai menggunakan token itu:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Sokongannya tidak sekata dan sebahagiannya masih akan datang. Anthropic menyatakan ia telah mengenali isyarat latihan umum yang boleh dibaca mesin sejak 30 Oktober 2026, sedang melancarkannya secara berperingkat, dan peraturan yang menamakan ClaudeBot diutamakan berbanding isyarat itu. Microsoft mendokumenkan token __usage_ai-training untuk Bing, dengan keutamaan barunya berkuat kuasa apabila halaman dirangkak mulai 1 Februari 2027. Google menyatakan ia menyasarkan sokongan untuk kawalan bersama itu pada 2027 dan merancang untuk menganggap penarikan diri latihan melaluinya sebagai larangan Google-Extended apabila token itu tidak dinamakan. OpenAI menerbitkan pengumuman pada hari yang sama bahawa ia akan mematuhi isyarat bersama itu, tanpa tarikh.

Jadi ai-train=no dan __usage_ai-training menyatakan perkara yang hampir sama, tetapi hanya yang kedua mempunyai sokongan yang didokumenkan oleh syarikat AI. Token setiap crawler, seperti GPTBot dan ClaudeBot, kekal sebagai kawalan yang digunakan setiap vendor hari ini.

Patutkah saya menambah Content-Signal pada robots.txt saya?

Tambahkannya jika anda mahu dasar penggunaan anda ditulis di satu tempat yang boleh dibaca mesin dan manusia. Ia juga menyatakan keutamaan ai-input untuk setiap crawler dalam satu baris, yang hanya boleh dinyatakan token vendor crawler demi crawler. Kosnya satu baris, dan penghurai yang tidak mengenalinya akan melangkaunya.

Jangan bergantung padanya sahaja. Untuk menjauhkan kandungan daripada latihan, larang juga token latihan yang didokumenkan, dan pertimbangkan token latihan bersama; panduan kami tentang menyekat latihan AI sambil kekal dalam carian AI menyenaraikan token mengikut vendor. Untuk apa-apa yang mengabaikan robots.txt, hanya peraturan firewall yang benar-benar menguatkuasakan sekatan.

Akhir sekali, pastikan baris itu selaras dengan bahagian lain fail. ai-input=no bersebelahan kumpulan Allow untuk OAI-SearchBot atau PerplexityBot menghantar mesej bercampur: anda membenarkan crawler carian AI masuk sambil menyatakan jawapan mereka tidak boleh menggunakan apa yang diambil.

Bagaimanakah saya menyemak apa yang dinyatakan robots.txt saya kepada setiap crawler?

Penyemak robots.txt AISeeWhy yang percuma menerima alamat halaman atau robots.txt yang ditampal dan menunjukkan, bagi setiap crawler AI dan carian, sama ada halaman itu boleh diambil, supaya anda dapat memastikan fail yang aktif, termasuk apa-apa yang diletakkan Cloudflare di hadapannya, menyatakan apa yang anda maksudkan. Penjana robots.txt percuma menulis fail daripada pilihan anda.

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Adakah Content-Signal sebahagian daripada standard robots.txt?

Tidak. RFC 9309 mentakrifkan User-agent, Allow dan Disallow dan membenarkan crawler mentafsir rekod lain. Content-Signal datang daripada Content Signals Policy Cloudflare, yang dikeluarkan di bawah lesen CC0. Secara berasingan, kumpulan kerja IETF AI Preferences sedang merangka peraturan Content-Usage sendiri untuk robots.txt, yang masih Internet-Draft, bukan standard.

Adakah ai-train=no menghentikan GPTBot atau ClaudeBot?

Tidak, setakat yang didokumenkan vendor. OpenAI dan Anthropic menerangkan kawalan melalui peraturan robots.txt yang menamakan GPTBot dan ClaudeBot, dan tiada halaman crawler mereka yang menyebut Content-Signal. Untuk menarik diri daripada latihan dengan mana-mana satu, larang token itu mengikut nama.

Apakah perbezaan antara Content-Signal dan __usage_ai-training?

Content-Signal ialah baris dalam sesuatu kumpulan dan meliputi carian, input AI dan latihan. __usage_ai-training ialah token dasar yang digunakan sebagai kumpulan User-Agent sendiri dan hanya meliputi latihan. Anthropic, Microsoft, Google dan OpenAI telah menerbitkan kenyataan tentang isyarat latihan bersama; tiada satu pun yang mendokumenkan Content-Signal.

Mengapa Google Search Console menyatakan Syntax not understood?

Dokumentasi robots.txt Google hanya menyokong user-agent, allow, disallow dan sitemap, jadi baris lain boleh ditandakan. Cloudflare menyatakan ia tidak memerhatikan sebarang kesan pada kadar perangkakan atau SEO akibat laporan ini.

Apakah maksud use=reference?

Ia medan keempat yang sedang diuji Cloudflare. reference bermakna mengindeks, memetik dan memaut kembali. Cloudflare menambahkannya pada fail robots.txt terurus, dan tiada dokumentasi crawler yang kami semak menyebutnya.

Sumber

Artikel lain