Apa itu Content-Signal di robots.txt, dan apakah ada yang mematuhinya?
Content-Signal adalah baris robots.txt opsional, dipublikasikan oleh Cloudflare, yang menyatakan bagaimana konten Anda boleh dipakai setelah diambil: search untuk hasil pencarian, ai-input untuk dimasukkan ke jawaban AI, dan ai-train untuk melatih model, masing-masing bernilai yes atau no, seperti dalam Content-Signal: search=yes, ai-input=yes, ai-train=no. Baris ini menyatakan preferensi dan tidak memblokir apa pun. Per November 2026, tidak satu pun halaman crawler OpenAI, Anthropic, Google, atau Perplexity menyatakan membacanya, sementara perusahaan AI besar justru mendukung token lain yang hanya untuk pelatihan.
robots.txt dibuat untuk menyatakan ke mana crawler boleh pergi, bukan apa yang boleh dilakukan dengan yang dibacanya. Begitu satu pengambilan yang sama bisa mengisi indeks pencarian, jawaban AI langsung, dan dataset pelatihan, celah itu menjadi penting. Cloudflare memublikasikan Content Signals Policy pada 24 September 2025 dengan lisensi CC0 untuk mengisinya, dan saat itu menyatakan pelanggannya sudah mengaktifkan robots.txt terkelola untuk lebih dari 3,8 juta domain, fitur yang kini menambahkan baris itu untuk mereka.
Di halaman ini
- Apa arti search, ai-input, dan ai-train?
- Bagaimana cara menulis baris Content-Signal di robots.txt?
- Apa isi teks kebijakan di atas baris itu?
- Apakah Content-Signal sudah ada di robots.txt saya?
- Apakah crawler AI mematuhi Content-Signal?
- Haruskah saya menambahkan Content-Signal ke robots.txt?
- Bagaimana cara memeriksa apa yang dikatakan robots.txt saya kepada setiap crawler?
Apa arti search, ai-input, dan ai-train?
Kebijakan ini mendefinisikan tiga sinyal. Rumusan di bawah mengikuti contentsignals.org dan teks kebijakan yang dipublikasikan Cloudflare:
search: membangun indeks pencarian dan menyediakan hasil pencarian, misalnya menampilkan hyperlink dan kutipan singkat dari halaman Anda. Definisinya menyatakan search tidak mencakup ringkasan pencarian buatan AI.ai-input: memasukkan konten ke satu atau lebih model AI, misalnya retrieval augmented generation, grounding, atau penggunaan konten secara real time lainnya untuk jawaban pencarian AI generatif.ai-train: melatih atau melakukan fine-tuning model AI.
Setiap sinyal bernilai yes atau no. Dalam istilah kebijakan ini, yes berarti konten boleh dikumpulkan untuk penggunaan itu, no berarti tidak boleh, dan sinyal yang tidak ditulis tidak memberi izin maupun membatasi penggunaan itu. Default Cloudflare menetapkan search dan ai-train dan membiarkan ai-input kosong, karena menurut Cloudflare mereka tidak tahu preferensi setiap pelanggan untuk sinyal itu dan tidak ingin menebak.
Pemisahan antara search dan ai-input adalah yang paling sering terlewat. Jika Anda ingin halaman Anda dipakai dalam jawaban AI, search=yes saja tidak menyatakannya. ai-input=yes yang menyatakannya.
Bagaimana cara menulis baris Content-Signal di robots.txt?
Content-Signal ditulis di dalam grup user agent, di samping Allow dan Disallow, dengan sinyal dipisahkan koma. contentsignals.org juga menunjukkan bentuk yang diawali path, sehingga satu bagian situs bisa membawa sinyal yang berbeda dari bagian lainnya:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow dan Disallow tetap bekerja persis seperti sebelumnya, dan Content-Signal tidak menggantikannya. RFC 9309 membolehkan crawler menafsirkan record yang bukan bagian dari protokol, selama tidak mengganggu aturan yang sudah didefinisikan, jadi parser yang tidak mengenal baris ini seharusnya melewatinya.
Ada dua detail yang perlu diketahui. Pertama, baris ini milik sebuah grup. Menurut RFC 9309, crawler yang punya grup dengan namanya sendiri sepenuhnya mengabaikan grup User-agent: *, dan halaman Content Signals tidak menjelaskan pengecualian apa pun untuk baris ini. Jika Anda memberi Googlebot atau OAI-SearchBot grup sendiri, ulangi baris Content-Signal di sana, seperti yang dilakukan contentsignals.org dalam contoh per crawler-nya. Kedua, Google Search Console bisa melaporkan Syntax not understood untuk baris ini. Dokumentasi Cloudflare menyebut hal ini dan menyatakan tidak melihat dampak pada crawling atau SEO. Dokumentasi robots.txt Google hanya mencantumkan user-agent, allow, disallow, dan sitemap sebagai field yang didukung.
Apa isi teks kebijakan di atas baris itu?
Content Signals Policy lebih dari sekadar satu baris. Generator Cloudflare di contentsignals.org dan robots.txt terkelolanya sama-sama menaruh blok komentar di atas sinyal. Blok itu dibuka dengan pernyataan bahwa, sebagai syarat mengakses situs web, Anda setuju mematuhi content signal, lalu mendefinisikan ketiga sinyal serta kasus yes, no, dan yang tidak ditulis.
Blok itu diakhiri dengan kalimat berhuruf kapital yang menyatakan bahwa setiap pembatasan yang dinyatakan lewat content signal adalah reservasi hak secara tegas berdasarkan Pasal 4 Direktif UE 2019/790 tentang hak cipta di Pasar Tunggal Digital. Pengumuman Cloudflare menambahkan bahwa sinyal ini bisa memiliki bobot hukum di berbagai yurisdiksi.
contentsignals.org sendiri memperingatkan bahwa pengadilan dan regulator bisa menyimpulkan file robots.txt tidak menimbulkan kewajiban hukum yang bisa ditegakkan, dan menyarankan konsultasi dengan pengacara. Anggap blok komentar itu sebagai pernyataan tertulis tentang posisi Anda, bukan kontrak.
Apakah Content-Signal sudah ada di robots.txt saya?
Jika situs Anda memakai Cloudflare, bisa jadi sudah, dengan salah satu dari dua cara:
- Robots.txt terkelola. Saat Bot Preference Sync aktif dan setidaknya satu kebijakan AI Crawler and Agent access disetel ke Block, Block on pages with ads, atau, untuk Training, Disallow, Cloudflare menambahkan blok terkelola di awal robots.txt yang dikirim server Anda. Blok itu berisi teks kebijakan,
Content-signal: search=yes, ai-train=no, use=referencedi bawahUser-Agent: *, danDisallow: /untukAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBot, danmeta-externalagent. - Tidak ada robots.txt sama sekali. Cloudflare menyatakan domain di paket Free yang tidak punya robots.txt sendiri dan tidak memakai fitur terkelola menampilkan Content Signals Policy saat crawler meminta
/robots.txt. Versi itu berisi definisi tetapi tidak menyatakan preferensi apa pun.
Bagian use=reference masih baru. Cloudflare menjelaskan use sebagai field keempat opsional yang sedang diujinya, dengan tiga nilai: immediate (berinteraksi, tetapi tidak menyimpan dan memakai ulang apa pun), reference (mengindeks, mengutip sebagian, dan menautkan kembali), dan full (meringkas dan mereproduksi). Field ini bukan salah satu dari tiga sinyal asli, dan tidak ada dokumentasi crawler yang kami periksa yang menyebutnya.
Karena Cloudflare menambahkan baris ini di edge, file di repositori Anda bisa terlihat tidak berubah sementara file yang diterima crawler berbeda. Ambil https://yourdomain.com/robots.txt yang aktif sebelum menambahkan baris Anda sendiri, agar respons tidak menyatakan dua kebijakan yang berbeda.
Adopsinya masih rendah di situs besar. Dalam studi kami pada November 2026 atas 1.000 domain terpopuler, 18 dari 518 situs yang menyajikan robots.txt (3,5%) memakai Content-Signal.
Apakah crawler AI mematuhi Content-Signal?
Tidak, menurut dokumentasi yang bisa kami temukan. Pada 17 November 2026 kami memeriksa halaman crawler OpenAI, Anthropic, Google, dan Perplexity, dan tidak satu pun menyebut Content-Signal. Cloudflare sendiri menyebut sinyal ini sebagai preferensi, bukan penangkal teknis terhadap scraping, dan menyatakan sebagian perusahaan mungkin begitu saja mengabaikannya.
Yang justru didokumentasikan perusahaan AI adalah mekanisme terpisah berdasarkan kerja kelompok kerja AI Preferences di IETF: sebuah token kebijakan, __usage_ai-training, yang ditulis sebagai grup User-Agent biasa. Token ini hanya mencakup pelatihan, dan Internet-Draft yang mendefinisikannya menyatakan bahwa grup User-Agent: * tidak dihitung sebagai penggunaan token:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Dukungannya belum merata dan sebagian masih akan datang. Anthropic menyatakan telah mengenali sinyal pelatihan umum yang bisa dibaca mesin sejak 30 Oktober 2026, menerapkannya secara bertahap, dan aturan yang menyebut ClaudeBot lebih diutamakan. Microsoft mendokumentasikan token __usage_ai-training untuk Bing, dengan preferensi barunya berlaku saat halaman di-crawl mulai 1 Februari 2027. Google menyatakan berencana mendukung kontrol bersama ini pada 2027 dan akan memperlakukan opt-out pelatihan lewat token itu sebagai disallow untuk Google-Extended jika token tersebut tidak disebut. OpenAI memublikasikan pengumuman pada hari yang sama bahwa mereka akan mematuhi sinyal bersama itu, tanpa tanggal.
Jadi ai-train=no dan __usage_ai-training menyatakan hal yang mirip, tetapi hanya yang kedua yang punya dukungan terdokumentasi dari perusahaan AI. Token per crawler, seperti GPTBot dan ClaudeBot, tetap menjadi kontrol yang diterapkan setiap vendor saat ini.
Haruskah saya menambahkan Content-Signal ke robots.txt?
Tambahkan jika Anda ingin kebijakan penggunaan Anda tertulis di satu tempat yang bisa dibaca mesin dan manusia. Baris ini juga menyatakan preferensi ai-input untuk semua crawler dalam satu baris, sesuatu yang hanya bisa dinyatakan token vendor crawler demi crawler. Biayanya satu baris, dan parser yang tidak mengenalnya akan melewatinya.
Jangan hanya mengandalkannya. Untuk menjauhkan konten dari pelatihan, larang juga token pelatihan yang terdokumentasi, dan pertimbangkan token pelatihan bersama; panduan kami tentang memblokir pelatihan AI sambil tetap ada di pencarian AI mencantumkan token per vendor. Untuk apa pun yang mengabaikan robots.txt, hanya aturan firewall yang benar-benar menegakkan blokir.
Terakhir, pastikan baris ini selaras dengan isi file lainnya. ai-input=no di samping grup Allow untuk OAI-SearchBot atau PerplexityBot mengirim pesan yang bertentangan: Anda mempersilakan crawler pencarian AI masuk sambil menyatakan bahwa jawaban mereka tidak boleh memakai apa yang mereka ambil.
Bagaimana cara memeriksa apa yang dikatakan robots.txt saya kepada setiap crawler?
Pemeriksa robots.txt gratis dari AISeeWhy menerima alamat halaman atau robots.txt yang ditempel dan menunjukkan, untuk setiap crawler AI dan crawler pencarian, apakah halaman itu boleh diambil, sehingga Anda bisa memastikan file yang aktif, termasuk apa pun yang ditambahkan Cloudflare di awal, menyatakan apa yang Anda maksud. Generator robots.txt gratis membuat file dari pilihan Anda.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Apakah Content-Signal bagian dari standar robots.txt?
Bukan. RFC 9309 mendefinisikan User-agent, Allow, dan Disallow dan membolehkan crawler menafsirkan record lain. Content-Signal berasal dari Content Signals Policy milik Cloudflare, yang dirilis dengan lisensi CC0. Secara terpisah, kelompok kerja AI Preferences di IETF sedang menyusun aturan Content-Usage sendiri untuk robots.txt, yang masih berupa Internet-Draft, bukan standar.
Apakah ai-train=no menghentikan GPTBot atau ClaudeBot?
Tidak, sejauh yang didokumentasikan vendor. OpenAI dan Anthropic menjelaskan kontrol lewat aturan robots.txt yang menyebut GPTBot dan ClaudeBot, dan halaman crawler keduanya tidak menyebut Content-Signal. Untuk opt-out pelatihan pada keduanya, larang token itu berdasarkan namanya.
Apa beda Content-Signal dan __usage_ai-training?
Content-Signal adalah baris di dalam grup dan mencakup pencarian, input AI, dan pelatihan. __usage_ai-training adalah token kebijakan yang dipakai sebagai grup User-Agent tersendiri dan hanya mencakup pelatihan. Anthropic, Microsoft, Google, dan OpenAI telah memublikasikan pernyataan tentang sinyal pelatihan bersama; tidak satu pun mendokumentasikan Content-Signal.
Mengapa Google Search Console menampilkan Syntax not understood?
Dokumentasi robots.txt Google hanya mendukung user-agent, allow, disallow, dan sitemap, jadi baris lain bisa ditandai. Cloudflare menyatakan tidak melihat dampak pada kecepatan crawling atau SEO dari laporan ini.
Apa arti use=reference?
Ini adalah field keempat yang sedang diuji Cloudflare. reference berarti mengindeks, mengutip sebagian, dan menautkan kembali. Cloudflare menambahkannya ke file robots.txt terkelola, dan tidak ada dokumentasi crawler yang kami periksa yang menyebutnya.
Sumber
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Laporan Akses Crawler AI, 2026-11