robots.txt untuk crawler AI: apa yang diizinkan, apa yang diblokir

Q: Di mana robots.txt harus diletakkan?

Di root setiap host, misalnya https://example.com/robots.txt. File di subfolder diabaikan, dan setiap subdomain membutuhkan file sendiri.

Dipublikasikan 2026-11-12

Jawaban singkat

Beri setiap crawler AI yang Anda pedulikan grup User-agent sendiri. Izinkan crawler pencarian seperti OAI-SearchBot, Claude-SearchBot, dan PerplexityBot jika Anda ingin dikutip, dan putuskan secara terpisah soal token pelatihan seperti GPTBot, ClaudeBot, Google-Extended, dan Applebot-Extended. Grup bernama menggantikan grup * untuk crawler tersebut.

robots.txt adalah file teks biasa yang sudah ada sejak 1994 dan menjadi standar resmi, RFC 9309, pada 2022. Sebagian besar vendor AI menyatakan crawler mereka mengikutinya, dan beberapa menerbitkan token terpisah untuk pencarian dan pelatihan. Itu menjadikan robots.txt tempat paling sederhana untuk menyatakan kebijakan AI, asalkan aturannya berarti persis seperti yang Anda kira.

Di halaman ini

Token robots.txt apa yang dipakai crawler AI?
Seperti apa robots.txt AI yang baik?
Bagaimana crawler memilih aturan yang berlaku bagi mereka?
Apa kesalahan robots.txt yang paling umum?
Bisakah saya menyatakan kebijakan penggunaan AI selain allow dan disallow?
Berapa lama perubahan berlaku, dan bagaimana memeriksanya?

Token robots.txt apa yang dipakai crawler AI?

Berikut token yang didokumentasikan para vendor. Pencocokan tidak membedakan huruf besar dan kecil menurut RFC 9309.

OpenAI: OAI-SearchBot (pencarian ChatGPT), GPTBot (pelatihan), ChatGPT-User (kunjungan atas permintaan pengguna; menurut OpenAI robots.txt mungkin tidak berlaku).
Anthropic: Claude-SearchBot (pencarian), ClaudeBot (pelatihan), Claude-User (kunjungan atas permintaan pengguna).
Perplexity: PerplexityBot (pencarian), Perplexity-User (kunjungan atas permintaan pengguna; Perplexity menyatakan umumnya mengabaikan robots.txt).
Google: Googlebot (Search, termasuk fitur AI-nya) dan Google-Extended, token tanpa crawler sendiri yang mengatur penggunaan dalam pelatihan dan grounding Gemini.
Apple: Applebot (Spotlight, Siri, pencarian Safari) dan Applebot-Extended, yang tidak merayapi tetapi mengatur penggunaan untuk melatih model fondasi Apple.
Meta: meta-externalagent (pelatihan dan pengindeksan produk) dan meta-webindexer (pencarian Meta AI).
Common Crawl: CCBot, yang membangun arsip data web publik gratis milik Common Crawl.

Seperti apa robots.txt AI yang baik?

Contoh ini mengizinkan pencarian AI dan pengambilan oleh pengguna, menolak token pelatihan utama, dan menutup satu area privat untuk semua pihak:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Beberapa baris User-agent berurutan membentuk satu grup, sehingga aturan di bawahnya berlaku untuk setiap crawler tersebut. Jika Anda memang ingin konten Anda dipakai untuk pelatihan, cukup hilangkan grup kedua. Memblokir Google-Extended tidak memengaruhi Google Search: Google menyatakan hal itu tidak berdampak pada masuknya halaman ke Search dan bukan sinyal peringkat. Demikian pula, Apple menyatakan halaman yang melarang Applebot-Extended tetap bisa muncul di hasil pencariannya.

Bagaimana crawler memilih aturan yang berlaku bagi mereka?

RFC 9309 mendefinisikannya dengan tepat, dan detail-detail ini menjelaskan sebagian besar kejutan:

Crawler mencari grup yang User-agent-nya cocok dengan product token-nya, tanpa membedakan huruf besar-kecil. Jika beberapa grup cocok, aturannya digabung menjadi satu.
Hanya jika tidak ada grup yang cocok, crawler mengikuti grup User-agent: *. Grup bernama tidak mewarisi apa pun dari *.
Di dalam grup, aturan dengan path cocok terpanjang yang menang. Allow: /blog/ mengalahkan Disallow: / untuk /blog/post.
Jika aturan Allow dan Disallow cocok dengan panjang yang sama, Allow yang harus dipakai.
* di dalam path cocok dengan karakter apa pun dan $ menandai akhir, sehingga Disallow: /*.pdf$ mencakup semua PDF.

Apa kesalahan robots.txt yang paling umum?

Mengira grup bernama mewarisi dari *. Grup untuk OAI-SearchBot yang hanya berisi Allow: / membuka semua path, termasuk yang Anda larang di bawah *.
Alamat robots.txt yang mengembalikan halaman HTML, sering kali halaman 404 yang disajikan dengan status 200. Crawler tidak menemukan aturan valid di dalamnya.
robots.txt yang mengembalikan error server. Menurut RFC 9309, crawler kemudian harus menganggap seluruh situs dilarang. Status 404 berbeda: artinya tidak ada pembatasan.
Memblokir token pencarian padahal maksudnya memblokir pelatihan, misalnya melarang PerplexityBot atau Claude-SearchBot demi menghindari pelatihan model.
Mengandalkan robots.txt untuk menghentikan pengambilan atas permintaan pengguna. OpenAI dan Perplexity sama-sama menyatakan user agent mereka mungkin tidak mengikutinya.
Melupakan subdomain. Setiap host punya robots.txt sendiri; dokumentasi Anthropic mengingatkan pemilik situs untuk menambahkan aturan di setiap subdomain.

Bisakah saya menyatakan kebijakan penggunaan AI selain allow dan disallow?

Cloudflare mengusulkan baris Content-Signal untuk robots.txt dengan tiga sinyal: search (membangun indeks pencarian dan menampilkan tautan serta kutipan singkat), ai-input (memakai konten secara real time untuk jawaban AI), dan ai-train (melatih atau menyempurnakan model). robots.txt terkelola milik Cloudflare bisa menambahkannya untuk Anda.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Seperti semua isi robots.txt, ini hanyalah preferensi, bukan kontrol teknis. Cloudflare sendiri mencatat bahwa kepatuhan pada robots.txt bersifat sukarela. Baris ini opsional dan tidak merugikan, tetapi tidak menggantikan grup per crawler di atas.

Berapa lama perubahan berlaku, dan bagaimana memeriksanya?

RFC 9309 menyatakan crawler sebaiknya tidak memakai robots.txt dari cache lebih dari 24 jam, dan OpenAI serta Perplexity sama-sama menyebut perubahan bisa memerlukan sekitar satu hari untuk berlaku. Ingat juga bahwa robots.txt bukan kontrol akses: firewall tetap bisa memblokir crawler yang diizinkan aturan Anda.

AISeeWhy mengurai robots.txt Anda menurut RFC 9309 untuk setiap crawler yang diuji, menandai file yang tidak bisa dijangkau atau disajikan sebagai HTML, menunjukkan di mana aturan Anda dan server Anda bertentangan, dan memberi diff siap pakai untuk perubahannya.

Pertanyaan yang sering diajukan

Apakah memblokir GPTBot atau ClaudeBot mengurangi visibilitas saya di jawaban AI?

Tidak secara langsung. Kedua vendor memakai crawler pencarian terpisah, OAI-SearchBot dan Claude-SearchBot, untuk pencarian. Memblokir crawler pelatihan adalah pilihan kebijakan.

Apakah Google-Extended menghentikan AI Overviews?

Tidak. Google menyatakan fitur AI di Search memakai Googlebot dan kontrol Search yang biasa seperti nosnippet dan noindex. Google-Extended mencakup pelatihan dan grounding Gemini di produk Google lain dan tidak memengaruhi Search.

Apakah crawler AI mendukung Crawl-delay?

Itu bukan bagian dari RFC 9309. Anthropic menyatakan mendukung Crawl-delay sebagai ekstensi nonstandar; untuk vendor lain, periksa dokumentasi mereka.

Di mana robots.txt harus diletakkan?

Di root setiap host, misalnya https://example.com/robots.txt. File di subfolder diabaikan, dan setiap subdomain membutuhkan file sendiri.