Cara memblokir pelatihan AI tetapi tetap muncul di jawaban pencarian AI

Q: Apakah memblokir GPTBot akan menghapus situs saya dari jawaban ChatGPT?

Tidak. OpenAI menyatakan GPTBot untuk pelatihan dan setiap pengaturan robots.txt independen. Pencarian ChatGPT memakai OAI-SearchBot; selama itu diizinkan dan tidak diblokir firewall Anda, halaman Anda tetap memenuhi syarat.

Q: Apakah memblokir Google-Extended menghapus saya dari AI Overviews?

Tidak menurut dokumentasi Google. Google menyatakan Google-Extended tidak memengaruhi pencantuman di Google Search, dan AI Overviews memakai indeks Search. Google menyediakan kontrol Search Console terpisah untuk mengecualikan situs dari AI Overviews dan AI Mode.

Q: Adakah satu baris yang memblokir semua pelatihan AI?

Tidak ada baris standar. Content-Signal: ai-train=no menyatakan preferensi untuk semua crawler, tetapi apakah suatu crawler mematuhinya bergantung pada operatornya. Grup bernama untuk setiap token pelatihan adalah cara yang terdokumentasi.

Dipublikasikan 2026-11-12

Jawaban singkat

Sebagian besar vendor AI memakai token robots.txt yang terpisah untuk pelatihan model dan untuk pencarian. Larang token pelatihan, seperti GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, dan CCBot, lalu izinkan token pencarian dan pengguna, seperti OAI-SearchBot, Claude-SearchBot, dan PerplexityBot. Tambahkan baris Content-Signal untuk menyatakan preferensi yang sama dengan kata-kata.

Banyak pemilik situs menginginkan dua hal sekaligus: mereka tidak ingin konten mereka dipakai untuk melatih model AI, tetapi mereka ingin asisten AI menemukan, mengutip, dan menautkan halaman mereka. Karena vendor besar kini memisahkan tugas ini ke crawler atau token yang berbeda, robots.txt bisa menyatakan kedua pilihan itu. Kendalanya: namanya berbeda antarvendor, beberapa vendor tidak sesuai pola, dan satu baris yang salah bisa mengeluarkan Anda dari jawaban AI, bukan dari data pelatihan.

Di halaman ini

Apa perbedaan antara crawler pelatihan dan crawler pencarian?
Token mana yang mengatur pelatihan dan mana yang mengatur pencarian?
Seperti apa robots.txt-nya?
Berapa banyak situs yang sudah melakukan ini?
Apa yang ditambahkan Content-Signal?
Di mana pemisahan ini tidak berjalan mulus?
Bagaimana cara memeriksa bahwa pemisahan ini berfungsi?

Apa perbedaan antara crawler pelatihan dan crawler pencarian?

Crawler pelatihan mengumpulkan halaman yang mungkin dipakai untuk membangun atau meningkatkan model AI. Pelatihan saja tidak menghasilkan kutipan atau tautan. Crawler pencarian membangun indeks yang dipakai asisten AI untuk menemukan sumber bagi sebuah jawaban, dan sumber itulah yang bisa dikutip. Pengambil yang dipicu pengguna membuka halaman secara langsung karena seseorang menanyakannya.

Vendor mendokumentasikan peran-peran ini secara terpisah dan menyatakan pengaturannya independen. OpenAI, misalnya, menyatakan setiap pengaturan robots.txt untuk crawler-nya independen dari yang lain. Jadi opt-out pelatihan yang dilakukan dengan benar tidak mengganggu visibilitas pencarian Anda.

Token mana yang mengatur pelatihan dan mana yang mengatur pencarian?

Berikut token yang didokumentasikan para vendor, dikelompokkan menurut apa yang diaturnya:

OpenAI: GPTBot meng-crawl konten yang mungkin dipakai untuk melatih model fondasinya. OAI-SearchBot untuk pencarian ChatGPT, dan ChatGPT-User menangani tindakan pengguna; OpenAI menyatakan robots.txt mungkin tidak berlaku untuknya.
Anthropic: ClaudeBot mengumpulkan konten yang bisa berkontribusi pada pelatihan. Claude-SearchBot meningkatkan hasil pencarian Claude, dan Claude-User mengambil halaman untuk pengguna. Anthropic menyatakan bot-nya menghormati robots.txt.
Google: Google-Extended adalah token robots.txt tanpa crawler sendiri. Token ini mengatur pemakaian dalam pelatihan model Gemini mendatang serta dalam grounding untuk Gemini Apps dan Vertex AI. Google menyatakan token ini tidak memengaruhi pencantuman atau peringkat di Google Search, yang diatur lewat Googlebot.
Apple: Applebot-Extended tidak meng-crawl; token ini mengatur apakah konten yang di-crawl oleh Applebot dipakai untuk melatih model fondasi Apple. Apple menyatakan halaman yang melarangnya masih bisa muncul di hasil pencariannya.
Meta: meta-externalagent meng-crawl untuk keperluan seperti melatih model fondasi, sedangkan meta-webindexer meningkatkan hasil pencarian Meta AI.
Common Crawl: CCBot membangun arsip web publik Common Crawl. robots.txt terkelola milik Cloudflare mencantumkannya di antara crawler pelatihan AI yang dilarangnya.
Perplexity: PerplexityBot dan Perplexity-User melayani pencarian dan permintaan pengguna. Perplexity menyatakan keduanya tidak dipakai untuk mengumpulkan data pelatihan, jadi tidak ada token pelatihan Perplexity yang bisa diblokir.

Seperti apa robots.txt-nya?

Beberapa baris User-agent berurutan membentuk satu grup menurut RFC 9309, sehingga aturannya berlaku untuk masing-masing. File ini menolak token pelatihan di atas, mengizinkan agen pencarian dan pengguna, dan menutup satu jalur privat untuk semua orang:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Dua detail penting. Pertama, grup yang disebut spesifik tidak mewarisi dari *, jadi jalur privat apa pun harus diulang di grup pencarian. Kedua, jangan masukkan Googlebot atau Applebot ke grup pelatihan: keduanya adalah crawler pencarian, dan memblokirnya akan mengeluarkan Anda dari Google Search dan fitur pencarian Apple. Perubahan tidak instan: OpenAI menyebut sekitar 24 jam untuk pencarian, dan Perplexity menyebut hingga 24 jam.

Berapa banyak situs yang sudah melakukan ini?

Lebih sedikit daripada yang mungkin Anda kira. Kami membaca file robots.txt dari 1.000 domain terpopuler di daftar Tranco pada 2026-11-12. Dari 518 yang menyajikan robots.txt, 155 (29,9%) melarang halaman beranda untuk setidaknya satu crawler pelatihan AI. Hanya 57 (11,0%) yang menempuh jalur selektif: mereka memblokir crawler pelatihan dan mengizinkan setiap crawler pencarian dan pengguna AI yang kami uji. Secara keseluruhan, 101 situs (19,5%) memblokir setidaknya satu crawler pencarian atau pengguna AI.

Angka per crawler menunjukkan pembagian yang sama. GPTBot diblokir di 111 situs (21,4%) dan OAI-SearchBot di 58 (11,2%). ClaudeBot diblokir di 110 (21,2%) dan Claude-SearchBot di 67 (12,9%). Google-Extended diblokir di 94 (18,1%), Googlebot di 14 (2,7%). Hanya 18 situs (3,5%) yang memakai Content-Signal.

Studi ini hanya melihat aturan robots.txt untuk halaman beranda. Studi ini tidak mengukur pemblokiran firewall, dan tidak menunjukkan maksud masing-masing situs.

Apa yang ditambahkan Content-Signal?

Content Signals adalah ekstensi robots.txt yang dipublikasikan Cloudflare di contentsignals.org. Baris Content-Signal menyatakan bagaimana konten boleh dipakai, dengan tiga sinyal: search (membangun indeks pencarian serta menampilkan tautan dan kutipan singkat), ai-input (memasukkan konten ke model AI secara real time, seperti grounding atau retrieval untuk jawaban generatif), dan ai-train (melatih atau menyempurnakan model).

Perhatikan bahwa definisi search tidak mencakup ringkasan pencarian buatan AI. Jika Anda ingin muncul di jawaban AI, setel juga ai-input=yes, seperti pada contoh di atas. robots.txt terkelola Cloudflare menambahkan search=yes, ai-train=no secara bawaan; sinyal yang Anda hilangkan tidak memberi izin maupun membatasi pemakaian tersebut.

Ini adalah preferensi yang dinyatakan. Situs Content Signals menyatakan sinyal ini tidak mencegah crawling secara teknis, dan Cloudflare mencatat bahwa kepatuhan pada robots.txt bersifat sukarela. Tidak satu pun halaman crawler OpenAI, Anthropic, Google, atau Perplexity yang kami periksa menyebut apakah mereka membaca Content-Signal, jadi perlakukan sebagai tambahan atas grup per crawler, bukan pengganti.

Di mana pemisahan ini tidak berjalan mulus?

Beberapa kasus perlu kehati-hatian:

Google AI Overviews dan AI Mode memakai indeks Search yang dibangun Googlebot, sehingga Google-Extended tidak mengeluarkan Anda dari keduanya. Bantuan Search Console Google menambahkan bahwa Google-Extended membatasi pelatihan model di balik fitur AI generatif Search, cakupan yang tidak disebut dalam dokumentasi crawler-nya. Google kini menyediakan pengaturan Search Console terpisah untuk mengecualikan situs dari AI Overviews dan AI Mode.
OpenAI menyatakan bahwa jika sebuah situs mengizinkan GPTBot dan OAI-SearchBot, hasil satu crawl mungkin dipakai untuk kedua tujuan. Melarang GPTBot adalah sinyal bahwa konten tidak boleh dipakai untuk pelatihan.
Opt-out berlaku ke depan. Anthropic, misalnya, menggambarkan pelarangan ClaudeBot sebagai pengecualian konten situs Anda yang akan datang dari kumpulan data pelatihan.
Pengambil yang dipicu pengguna berada di tengah. OpenAI dan Perplexity menyatakan robots.txt mungkin tidak berlaku untuk ChatGPT-User dan umumnya tidak berlaku untuk Perplexity-User.
Firewall tidak membaca robots.txt. Aturan pemblokiran bot yang luas bisa menghentikan crawler pencarian yang sudah Anda izinkan. Jika Anda menegakkan blokir pelatihan di firewall, cocokkan agen pelatihan berdasarkan nama dan verifikasi lewat rentang IP yang dipublikasikan.

Bagaimana cara memeriksa bahwa pemisahan ini berfungsi?

Baca robots.txt Anda seperti yang dilakukan tiap crawler: cari grup yang menyebutnya, kembali ke * hanya jika tidak ada, dan terapkan aturan terpanjang yang cocok. Lalu minta halaman dengan user agent setiap crawler pencarian dan pastikan ia menerima 200 dengan konten penuh, bukan 403 atau halaman tantangan.

AISeeWhy melakukan keduanya untuk 14 crawler, dikelompokkan sebagai agen pelatihan, pencarian, dan pengguna, dan menandai kesalahan yang paling umum: memblokir token pencarian seperti PerplexityBot atau Claude-SearchBot padahal maksudnya memblokir pelatihan.

Pertanyaan yang sering diajukan

Apakah memblokir GPTBot akan menghapus situs saya dari jawaban ChatGPT?

Tidak. OpenAI menyatakan GPTBot untuk pelatihan dan setiap pengaturan robots.txt independen. Pencarian ChatGPT memakai OAI-SearchBot; selama itu diizinkan dan tidak diblokir firewall Anda, halaman Anda tetap memenuhi syarat.

Apakah memblokir Google-Extended menghapus saya dari AI Overviews?

Tidak menurut dokumentasi Google. Google menyatakan Google-Extended tidak memengaruhi pencantuman di Google Search, dan AI Overviews memakai indeks Search. Google menyediakan kontrol Search Console terpisah untuk mengecualikan situs dari AI Overviews dan AI Mode.

Adakah satu baris yang memblokir semua pelatihan AI?

Tidak ada baris standar. Content-Signal: ai-train=no menyatakan preferensi untuk semua crawler, tetapi apakah suatu crawler mematuhinya bergantung pada operatornya. Grup bernama untuk setiap token pelatihan adalah cara yang terdokumentasi.

Haruskah saya memblokir Perplexity untuk menghentikan pelatihan AI?

Perplexity menyatakan agennya tidak dipakai untuk mengumpulkan data pelatihan. Memblokir PerplexityBot mengurangi visibilitas Anda di hasil pencarian Perplexity tanpa berfungsi sebagai opt-out pelatihan.