Apa itu Content-Signal di robots.txt, dan apakah ada yang mematuhinya?

Dipublikasikan

Jawaban singkat

Content-Signal adalah baris robots.txt opsional, dipublikasikan oleh Cloudflare, yang menyatakan bagaimana konten Anda boleh dipakai setelah diambil: search untuk hasil pencarian, ai-input untuk dimasukkan ke jawaban AI, dan ai-train untuk melatih model, masing-masing bernilai yes atau no, seperti dalam Content-Signal: search=yes, ai-input=yes, ai-train=no. Baris ini menyatakan preferensi dan tidak memblokir apa pun. Per November 2026, tidak satu pun halaman crawler OpenAI, Anthropic, Google, atau Perplexity menyatakan membacanya, sementara perusahaan AI besar justru mendukung token lain yang hanya untuk pelatihan.

robots.txt dibuat untuk menyatakan ke mana crawler boleh pergi, bukan apa yang boleh dilakukan dengan yang dibacanya. Begitu satu pengambilan yang sama bisa mengisi indeks pencarian, jawaban AI langsung, dan dataset pelatihan, celah itu menjadi penting. Cloudflare memublikasikan Content Signals Policy pada 24 September 2025 dengan lisensi CC0 untuk mengisinya, dan saat itu menyatakan pelanggannya sudah mengaktifkan robots.txt terkelola untuk lebih dari 3,8 juta domain, fitur yang kini menambahkan baris itu untuk mereka.

Di halaman ini
  1. Apa arti search, ai-input, dan ai-train?
  2. Bagaimana cara menulis baris Content-Signal di robots.txt?
  3. Apa isi teks kebijakan di atas baris itu?
  4. Apakah Content-Signal sudah ada di robots.txt saya?
  5. Apakah crawler AI mematuhi Content-Signal?
  6. Haruskah saya menambahkan Content-Signal ke robots.txt?
  7. Bagaimana cara memeriksa apa yang dikatakan robots.txt saya kepada setiap crawler?

Apa arti search, ai-input, dan ai-train?

Kebijakan ini mendefinisikan tiga sinyal. Rumusan di bawah mengikuti contentsignals.org dan teks kebijakan yang dipublikasikan Cloudflare:

Setiap sinyal bernilai yes atau no. Dalam istilah kebijakan ini, yes berarti konten boleh dikumpulkan untuk penggunaan itu, no berarti tidak boleh, dan sinyal yang tidak ditulis tidak memberi izin maupun membatasi penggunaan itu. Default Cloudflare menetapkan search dan ai-train dan membiarkan ai-input kosong, karena menurut Cloudflare mereka tidak tahu preferensi setiap pelanggan untuk sinyal itu dan tidak ingin menebak.

Pemisahan antara search dan ai-input adalah yang paling sering terlewat. Jika Anda ingin halaman Anda dipakai dalam jawaban AI, search=yes saja tidak menyatakannya. ai-input=yes yang menyatakannya.

Bagaimana cara menulis baris Content-Signal di robots.txt?

Content-Signal ditulis di dalam grup user agent, di samping Allow dan Disallow, dengan sinyal dipisahkan koma. contentsignals.org juga menunjukkan bentuk yang diawali path, sehingga satu bagian situs bisa membawa sinyal yang berbeda dari bagian lainnya:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow dan Disallow tetap bekerja persis seperti sebelumnya, dan Content-Signal tidak menggantikannya. RFC 9309 membolehkan crawler menafsirkan record yang bukan bagian dari protokol, selama tidak mengganggu aturan yang sudah didefinisikan, jadi parser yang tidak mengenal baris ini seharusnya melewatinya.

Ada dua detail yang perlu diketahui. Pertama, baris ini milik sebuah grup. Menurut RFC 9309, crawler yang punya grup dengan namanya sendiri sepenuhnya mengabaikan grup User-agent: *, dan halaman Content Signals tidak menjelaskan pengecualian apa pun untuk baris ini. Jika Anda memberi Googlebot atau OAI-SearchBot grup sendiri, ulangi baris Content-Signal di sana, seperti yang dilakukan contentsignals.org dalam contoh per crawler-nya. Kedua, Google Search Console bisa melaporkan Syntax not understood untuk baris ini. Dokumentasi Cloudflare menyebut hal ini dan menyatakan tidak melihat dampak pada crawling atau SEO. Dokumentasi robots.txt Google hanya mencantumkan user-agent, allow, disallow, dan sitemap sebagai field yang didukung.

Apa isi teks kebijakan di atas baris itu?

Content Signals Policy lebih dari sekadar satu baris. Generator Cloudflare di contentsignals.org dan robots.txt terkelolanya sama-sama menaruh blok komentar di atas sinyal. Blok itu dibuka dengan pernyataan bahwa, sebagai syarat mengakses situs web, Anda setuju mematuhi content signal, lalu mendefinisikan ketiga sinyal serta kasus yes, no, dan yang tidak ditulis.

Blok itu diakhiri dengan kalimat berhuruf kapital yang menyatakan bahwa setiap pembatasan yang dinyatakan lewat content signal adalah reservasi hak secara tegas berdasarkan Pasal 4 Direktif UE 2019/790 tentang hak cipta di Pasar Tunggal Digital. Pengumuman Cloudflare menambahkan bahwa sinyal ini bisa memiliki bobot hukum di berbagai yurisdiksi.

contentsignals.org sendiri memperingatkan bahwa pengadilan dan regulator bisa menyimpulkan file robots.txt tidak menimbulkan kewajiban hukum yang bisa ditegakkan, dan menyarankan konsultasi dengan pengacara. Anggap blok komentar itu sebagai pernyataan tertulis tentang posisi Anda, bukan kontrak.

Apakah Content-Signal sudah ada di robots.txt saya?

Jika situs Anda memakai Cloudflare, bisa jadi sudah, dengan salah satu dari dua cara:

Bagian use=reference masih baru. Cloudflare menjelaskan use sebagai field keempat opsional yang sedang diujinya, dengan tiga nilai: immediate (berinteraksi, tetapi tidak menyimpan dan memakai ulang apa pun), reference (mengindeks, mengutip sebagian, dan menautkan kembali), dan full (meringkas dan mereproduksi). Field ini bukan salah satu dari tiga sinyal asli, dan tidak ada dokumentasi crawler yang kami periksa yang menyebutnya.

Karena Cloudflare menambahkan baris ini di edge, file di repositori Anda bisa terlihat tidak berubah sementara file yang diterima crawler berbeda. Ambil https://yourdomain.com/robots.txt yang aktif sebelum menambahkan baris Anda sendiri, agar respons tidak menyatakan dua kebijakan yang berbeda.

Adopsinya masih rendah di situs besar. Dalam studi kami pada November 2026 atas 1.000 domain terpopuler, 18 dari 518 situs yang menyajikan robots.txt (3,5%) memakai Content-Signal.

Apakah crawler AI mematuhi Content-Signal?

Tidak, menurut dokumentasi yang bisa kami temukan. Pada 17 November 2026 kami memeriksa halaman crawler OpenAI, Anthropic, Google, dan Perplexity, dan tidak satu pun menyebut Content-Signal. Cloudflare sendiri menyebut sinyal ini sebagai preferensi, bukan penangkal teknis terhadap scraping, dan menyatakan sebagian perusahaan mungkin begitu saja mengabaikannya.

Yang justru didokumentasikan perusahaan AI adalah mekanisme terpisah berdasarkan kerja kelompok kerja AI Preferences di IETF: sebuah token kebijakan, __usage_ai-training, yang ditulis sebagai grup User-Agent biasa. Token ini hanya mencakup pelatihan, dan Internet-Draft yang mendefinisikannya menyatakan bahwa grup User-Agent: * tidak dihitung sebagai penggunaan token:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Dukungannya belum merata dan sebagian masih akan datang. Anthropic menyatakan telah mengenali sinyal pelatihan umum yang bisa dibaca mesin sejak 30 Oktober 2026, menerapkannya secara bertahap, dan aturan yang menyebut ClaudeBot lebih diutamakan. Microsoft mendokumentasikan token __usage_ai-training untuk Bing, dengan preferensi barunya berlaku saat halaman di-crawl mulai 1 Februari 2027. Google menyatakan berencana mendukung kontrol bersama ini pada 2027 dan akan memperlakukan opt-out pelatihan lewat token itu sebagai disallow untuk Google-Extended jika token tersebut tidak disebut. OpenAI memublikasikan pengumuman pada hari yang sama bahwa mereka akan mematuhi sinyal bersama itu, tanpa tanggal.

Jadi ai-train=no dan __usage_ai-training menyatakan hal yang mirip, tetapi hanya yang kedua yang punya dukungan terdokumentasi dari perusahaan AI. Token per crawler, seperti GPTBot dan ClaudeBot, tetap menjadi kontrol yang diterapkan setiap vendor saat ini.

Haruskah saya menambahkan Content-Signal ke robots.txt?

Tambahkan jika Anda ingin kebijakan penggunaan Anda tertulis di satu tempat yang bisa dibaca mesin dan manusia. Baris ini juga menyatakan preferensi ai-input untuk semua crawler dalam satu baris, sesuatu yang hanya bisa dinyatakan token vendor crawler demi crawler. Biayanya satu baris, dan parser yang tidak mengenalnya akan melewatinya.

Jangan hanya mengandalkannya. Untuk menjauhkan konten dari pelatihan, larang juga token pelatihan yang terdokumentasi, dan pertimbangkan token pelatihan bersama; panduan kami tentang memblokir pelatihan AI sambil tetap ada di pencarian AI mencantumkan token per vendor. Untuk apa pun yang mengabaikan robots.txt, hanya aturan firewall yang benar-benar menegakkan blokir.

Terakhir, pastikan baris ini selaras dengan isi file lainnya. ai-input=no di samping grup Allow untuk OAI-SearchBot atau PerplexityBot mengirim pesan yang bertentangan: Anda mempersilakan crawler pencarian AI masuk sambil menyatakan bahwa jawaban mereka tidak boleh memakai apa yang mereka ambil.

Bagaimana cara memeriksa apa yang dikatakan robots.txt saya kepada setiap crawler?

Pemeriksa robots.txt gratis dari AISeeWhy menerima alamat halaman atau robots.txt yang ditempel dan menunjukkan, untuk setiap crawler AI dan crawler pencarian, apakah halaman itu boleh diambil, sehingga Anda bisa memastikan file yang aktif, termasuk apa pun yang ditambahkan Cloudflare di awal, menyatakan apa yang Anda maksud. Generator robots.txt gratis membuat file dari pilihan Anda.

Alat gratis

Langkah berikutnya

Crawler dalam artikel ini

Pertanyaan yang sering diajukan

Apakah Content-Signal bagian dari standar robots.txt?

Bukan. RFC 9309 mendefinisikan User-agent, Allow, dan Disallow dan membolehkan crawler menafsirkan record lain. Content-Signal berasal dari Content Signals Policy milik Cloudflare, yang dirilis dengan lisensi CC0. Secara terpisah, kelompok kerja AI Preferences di IETF sedang menyusun aturan Content-Usage sendiri untuk robots.txt, yang masih berupa Internet-Draft, bukan standar.

Apakah ai-train=no menghentikan GPTBot atau ClaudeBot?

Tidak, sejauh yang didokumentasikan vendor. OpenAI dan Anthropic menjelaskan kontrol lewat aturan robots.txt yang menyebut GPTBot dan ClaudeBot, dan halaman crawler keduanya tidak menyebut Content-Signal. Untuk opt-out pelatihan pada keduanya, larang token itu berdasarkan namanya.

Apa beda Content-Signal dan __usage_ai-training?

Content-Signal adalah baris di dalam grup dan mencakup pencarian, input AI, dan pelatihan. __usage_ai-training adalah token kebijakan yang dipakai sebagai grup User-Agent tersendiri dan hanya mencakup pelatihan. Anthropic, Microsoft, Google, dan OpenAI telah memublikasikan pernyataan tentang sinyal pelatihan bersama; tidak satu pun mendokumentasikan Content-Signal.

Mengapa Google Search Console menampilkan Syntax not understood?

Dokumentasi robots.txt Google hanya mendukung user-agent, allow, disallow, dan sitemap, jadi baris lain bisa ditandai. Cloudflare menyatakan tidak melihat dampak pada kecepatan crawling atau SEO dari laporan ini.

Apa arti use=reference?

Ini adalah field keempat yang sedang diuji Cloudflare. reference berarti mengindeks, mengutip sebagian, dan menautkan kembali. Cloudflare menambahkannya ke file robots.txt terkelola, dan tidak ada dokumentasi crawler yang kami periksa yang menyebutnya.

Sumber

Artikel lainnya