Cara membaca laporan AI Crawl Control Cloudflare dan melihat crawler AI mana yang bisa masuk
Buka AI Crawl Control di dasbor Cloudflare: daftar crawler menampilkan setiap crawler AI yang pernah dilihat Cloudflare di domain Anda, jumlah permintaannya, pelanggaran robots.txt-nya, dan apakah tindakannya Allow atau Block. Agar tetap muncul di pencarian AI tetapi menolak pelatihan, izinkan crawler pencarian dan agen, lalu blokir atau larang crawler pelatihan di sana atau di AI Crawler and Agent access policies. Lalu pastikan dari luar dengan curl, karena fitur Cloudflare lain tetap bisa memblokir crawler yang sudah Anda izinkan.
Cloudflare kini punya dua tempat yang menentukan apa yang diterima crawler AI: AI Crawl Control, laporan dan panel kendali per crawler yang dulu bernama AI Audit, dan AI Crawler and Agent access policies untuk seluruh zona di pengaturan Security. Keduanya tersedia di paket Free, keduanya berubah selama 2026, dan tidak satu pun memberi tahu Anda tentang semua fitur lain yang tetap bisa membalas crawler dengan 403. Panduan ini membahas laporan itu kolom demi kolom, menunjukkan tempat mengatur izinkan dan blokir, dan diakhiri dengan pengujian yang bisa Anda jalankan dari komputer sendiri.
Di halaman ini
- Di mana laporan crawler AI di Cloudflare?
- Apa arti setiap kolom dan metrik di laporan AI Crawl Control?
- Bagaimana cara mengizinkan crawler pencarian AI dan memblokir crawler pelatihan di Cloudflare?
- Apa yang berubah pada pengaturan default crawler AI di Cloudflare?
- Kenapa Cloudflare masih memblokir crawler AI padahal sudah saya izinkan?
- Bagaimana cara memastikan dari luar crawler AI mana yang diizinkan masuk oleh Cloudflare?
- Bagaimana AISeeWhy memeriksa apa yang dikirim Cloudflare ke crawler AI?
Di mana laporan crawler AI di Cloudflare?
Di dasbor, pilih akun dan domain Anda, lalu buka AI Crawl Control. Cloudflare menyatakan fitur ini bekerja tanpa konfigurasi dan tersedia di semua paket, selama trafik domain Anda diproksikan melalui Cloudflare. Ada empat bagian:
- Overview: ringkasan eksekutif berisi total permintaan, perubahan volume, kode status paling umum, path paling populer, dan crawler bervolume tinggi, ditambah apakah robots.txt terkelola Cloudflare aktif, serta crawler yang dikelompokkan menurut operator seperti OpenAI, Microsoft, Google, ByteDance, Anthropic, dan Meta.
- Daftar crawler: satu baris per crawler AI, dengan kolom Action tempat Anda memilih Allow atau Block. Dokumentasi Cloudflare menyebut tab ini Crawlers di satu halaman dan Security di halaman lain, jadi cari tabel yang punya kolom Action.
- Metrics: permintaan dari waktu ke waktu, distribusi kode status, format konten, path paling populer, dan, di paket berbayar, rujukan (referral). Filter mencakup rentang tanggal, crawler, operator, hostname, dan path, dan Anda bisa mengekspor CSV.
- Directives: kesehatan file robots.txt Anda dan daftar pelanggaran robots.txt.
Ada dua batasan paket yang penting saat membaca angkanya. Di paket Free, AI Crawl Control mengenali crawler hanya dari string user agent-nya, jadi yang terlihat hanya crawler yang mengumumkan dirinya, dan tab Metrics mencakup 24 jam terakhir. Paket berbayar menambahkan deteksi lewat ID deteksi Bot Management, dan Enterprise dengan Bot Management mendapat rentang waktu yang bisa diatur.
Apa arti setiap kolom dan metrik di laporan AI Crawl Control?
Cloudflare mendokumentasikan kolom-kolomnya sebagai berikut. Definisinya penting, karena beberapa angka menghitung lebih banyak dari yang mungkin Anda kira.
- Crawler dan Category: nama crawler, operatornya, dan kategorinya, seperti AI crawler, AI assistant, atau archiver.
- Requests: permintaan yang diizinkan ditambah yang gagal, dengan grafik tren. Permintaan gagal bisa berasal dari aturan atau error respons apa pun, bukan hanya dari blokir AI Crawl Control, jadi angka tinggi untuk crawler yang Anda izinkan menandakan ada aturan lain atau error di server origin Anda.
- Allowed requests: permintaan yang menerima status antara 200 dan 299. Transfer data diukur dari byte yang dikirim Cloudflare untuk permintaan yang diizinkan.
- Robots.txt violations: berapa kali crawler meminta path yang dilarang robots.txt Anda. Cloudflare membandingkan permintaan lama dengan aturan Anda saat ini, jadi aturan yang Anda tambahkan hari ini bisa menandai permintaan yang dulu diizinkan saat dibuat.
- Action: Allow, Block, atau, untuk akun di beta pay per crawl, Charge.
- Distribusi kode status: 2xx, 3xx, 4xx, dan 5xx. Kelompok 4xx mencakup 403 dari blokir dan 402 dari pay per crawl.
- Referrals dan top referrers, hanya di paket berbayar: kunjungan yang datang dari layanan AI, misalnya dari chatgpt.com, dan halaman tempat kunjungan itu mendarat.
Baca laporan berdasarkan tindakan yang Anda pilih. Crawler yang disetel Allow seharusnya menunjukkan sebagian besar permintaan yang diizinkan dan kode 2xx. Jika banyak permintaan gagal, buka distribusi kode status yang difilter untuk crawler itu, dan periksa Security Analytics untuk menemukan aturan yang membalasnya.
Bagaimana cara mengizinkan crawler pencarian AI dan memblokir crawler pelatihan di Cloudflare?
Anda bisa melakukannya per crawler atau per perilaku. Per crawler, buka AI Crawl Control dan atur Action untuk setiap baris. Cloudflare menyatakan memblokir di sana akan membuat atau memperbarui aturan kustom WAF di zona Anda, yang bisa Anda kembangkan di WAF untuk pengecualian path. Di paket berbayar Anda bisa memilih apakah crawler yang diblokir mendapat 403 atau 402 dan mengatur isi respons berupa teks biasa.
Per perilaku, buka Security, lalu Settings, filter berdasarkan Bot traffic dan buka AI Crawler and Agent access policies. Cloudflare membagi trafik AI ke dalam tiga perilaku, dan setiap kebijakan berlaku untuk bot terverifikasi dengan perilaku itu dan untuk bot tak terverifikasi yang cocok:
- Search: mengumpulkan atau mengindeks konten agar bisa menjawab pertanyaan nanti.
- Agent: bertindak secara real time atas nama seseorang, seperti pengambilan dari chat dan agen browser.
- Training: mengumpulkan konten untuk melatih atau melakukan fine-tuning model, termasuk crawler yang dipakai untuk pelatihan sekaligus pencarian.
Setiap perilaku bisa disetel ke Block, Block on pages with ads, atau Allow (do not block). Training juga punya Disallow, yang hanya meminta crawler lewat robots.txt. Dengan Bot Preference Sync aktif, Cloudflare menambahkan aturan terkelola di awal robots.txt Anda yang melarang Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, dan meta-externalagent, menambahkan baris Content Signals, dan juga memblokir crawler pelatihan AI di edge, kecuali crawler yang dipakai untuk pencarian sekaligus pelatihan.
Untuk kebanyakan situs yang ingin dikutip AI, kombinasi yang aman adalah Search dan Agent di Allow serta Training di Disallow, lalu tindakan Block satu per satu di AI Crawl Control untuk crawler khusus pelatihan yang ingin Anda hentikan di edge.
Apa yang berubah pada pengaturan default crawler AI di Cloudflare?
Pada 1 Juli 2025, Cloudflare mengumumkan perubahan default menjadi memblokir crawler AI kecuali mereka membayar kreator. Pada 1 Juli 2026, Cloudflare mengganti satu tombol Block AI bots dengan kebijakan Search, Agent, dan Training yang terpisah seperti dijelaskan di atas, untuk semua paket termasuk Free. Pengumuman yang sama menyebut bahwa domain baru yang mulai bergabung sejak 15 September 2026 akan memblokir Training dan Agent di halaman yang menampilkan iklan, dengan Search diizinkan.
Dokumentasi kebijakan Cloudflare saat ini, terakhir diperbarui 2 November 2026, menyatakan domain baru secara default memakai Allow (do not block) untuk ketiga perilaku. Karena halaman Cloudflare sendiri pernah menyebut default yang berbeda di waktu yang berbeda, jangan mengandalkan satu pun untuk zona Anda: buka halaman kebijakan dan baca apa yang sedang disetel.
Kenapa Cloudflare masih memblokir crawler AI padahal sudah saya izinkan?
Tindakan Allow di AI Crawl Control hanya menghentikan AI Crawl Control dari memblokir. Fitur lain tetap memproses permintaan. Penyebab yang umum:
- Memblokir Training juga memblokir crawler pencarian yang melakukan keduanya. Dokumentasi Cloudflare menyatakan tindakan Training berlaku untuk crawler dengan tujuan campuran, dan pengumumannya pada Juli 2026 menyebut Googlebot, Applebot, dan bingbot sebagai crawler yang akan diblokir sejak 15 September 2026 oleh pelanggan yang memblokir Training. Disallow adalah pilihan yang lebih sempit, karena blokir edge-nya melewatkan crawler dengan tujuan campuran.
- Bot Fight Mode aktif. Cloudflare menyatakan Anda tidak bisa melewati Bot Fight Mode dengan aturan kustom WAF atau Page Rules. Jika fitur itu memberi tantangan ke crawler, matikan, atau di paket yang menyediakannya pakai Super Bot Fight Mode, yang mendukung aturan skip.
- Aturan kustom WAF lama memblokir user agent yang mengandung
bot, atau aturan rate limiting membalas lonjakan dengan 429. Aturan ini berjalan apa pun Action di AI Crawl Control. - Aturan blokir diedit manual. Jika aturan WAF di balik AI Crawl Control diubah ke kode respons lain, dasbor tidak bisa lagi menerapkan pilihan Anda.
- robots.txt masih melarang crawler itu. Allow di Cloudflare tidak mengubah robots.txt Anda, jadi crawler yang patuh tetap menjauh. Dalam studi kami terhadap 1.000 domain terpopuler, 98 dari 155 situs yang memblokir crawler pelatihan AI di robots.txt juga memblokir setidaknya satu crawler pencarian atau crawler pengguna AI.
Bagaimana cara memastikan dari luar crawler AI mana yang diizinkan masuk oleh Cloudflare?
Minta halaman yang sama dengan user agent browser dan dengan user agent setiap crawler, lalu bandingkan status dan ukurannya. String OpenAI, Perplexity, dan Google di bawah ini adalah yang dipublikasikan perusahaan-perusahaan itu.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Baris crawler dengan 403, 429, atau 503, atau ukuran yang jauh lebih kecil daripada baris browser, berarti ada sesuatu di depan server origin Anda yang membalas secara berbeda. Di paket Free, AI Crawl Control mendeteksi crawler dari user agent, jadi pengujian ini cukup layak untuk memeriksa blokirnya. Aturan yang berbasis status bot terverifikasi atau skor bot bisa memperlakukan permintaan Anda berbeda dari crawler sungguhan, karena permintaan itu datang dari alamat IP Anda, bukan dari rentang IP yang dipublikasikan operatornya. Setelah menguji, cari permintaan Anda sendiri di Security Analytics untuk melihat aturan mana yang cocok.
Bagaimana AISeeWhy memeriksa apa yang dikirim Cloudflare ke crawler AI?
Pemeriksaan gratis AISeeWhy meminta halaman Anda sebagai 16 crawler AI dan crawler pencarian, berdampingan dengan browser sungguhan, menerapkan robots.txt Anda per crawler, dan mengenali halaman tantangan firewall, sehingga Anda bisa melihat apakah hasil di dasbor Cloudflare sesuai dengan apa yang benar-benar diterima crawler.
Perbaikan untuk masalah ini
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa IP crawler AI
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Apakah Cloudflare AI Crawl Control gratis?
Ya. Cloudflare mencantumkan AI Crawl Control tersedia di semua paket. Paket Free mendeteksi crawler hanya dari user agent dan menampilkan 24 jam terakhir di Metrics; data rujukan dan respons blokir kustom memerlukan paket berbayar.
Apa yang terjadi pada Cloudflare AI Audit?
Namanya diganti. Dokumentasi Cloudflare menyebut AI Crawl Control sebagai nama baru AI Audit, dengan tujuan yang sama: melihat crawler AI mana yang berkunjung dan menetapkan tindakan untuk masing-masing.
Apakah memblokir crawler di AI Crawl Control mengubah robots.txt saya?
Tidak. Tindakan Block membuat atau memperbarui aturan kustom WAF. robots.txt hanya berubah jika Anda memakai opsi Disallow untuk Training dengan Bot Preference Sync, yang menambahkan aturan terkelola Cloudflare di awal file Anda.
Apa yang dihitung sebagai pelanggaran robots.txt di Cloudflare?
Permintaan dari crawler AI ke path yang dilarang robots.txt Anda. Cloudflare membandingkan permintaan lama dengan aturan Anda saat ini, jadi aturan baru bisa menandai permintaan lama yang saat itu diizinkan.
Apa itu pay per crawl?
Tindakan Charge yang meminta crawler AI membayar per permintaan, dan jika tidak, membalas dengan HTTP 402 beserta harganya. Cloudflare menyebutnya beta tertutup, dan blokir WAF atau Bot Management lebih diutamakan daripada fitur ini.
Sumber
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Laporan Akses Crawler AI, 2026-11