Cara membaca laporan AI Crawl Control Cloudflare dan melihat crawler AI mana yang bisa masuk

Dipublikasikan

Jawaban singkat

Buka AI Crawl Control di dasbor Cloudflare: daftar crawler menampilkan setiap crawler AI yang pernah dilihat Cloudflare di domain Anda, jumlah permintaannya, pelanggaran robots.txt-nya, dan apakah tindakannya Allow atau Block. Agar tetap muncul di pencarian AI tetapi menolak pelatihan, izinkan crawler pencarian dan agen, lalu blokir atau larang crawler pelatihan di sana atau di AI Crawler and Agent access policies. Lalu pastikan dari luar dengan curl, karena fitur Cloudflare lain tetap bisa memblokir crawler yang sudah Anda izinkan.

Cloudflare kini punya dua tempat yang menentukan apa yang diterima crawler AI: AI Crawl Control, laporan dan panel kendali per crawler yang dulu bernama AI Audit, dan AI Crawler and Agent access policies untuk seluruh zona di pengaturan Security. Keduanya tersedia di paket Free, keduanya berubah selama 2026, dan tidak satu pun memberi tahu Anda tentang semua fitur lain yang tetap bisa membalas crawler dengan 403. Panduan ini membahas laporan itu kolom demi kolom, menunjukkan tempat mengatur izinkan dan blokir, dan diakhiri dengan pengujian yang bisa Anda jalankan dari komputer sendiri.

Di halaman ini
  1. Di mana laporan crawler AI di Cloudflare?
  2. Apa arti setiap kolom dan metrik di laporan AI Crawl Control?
  3. Bagaimana cara mengizinkan crawler pencarian AI dan memblokir crawler pelatihan di Cloudflare?
  4. Apa yang berubah pada pengaturan default crawler AI di Cloudflare?
  5. Kenapa Cloudflare masih memblokir crawler AI padahal sudah saya izinkan?
  6. Bagaimana cara memastikan dari luar crawler AI mana yang diizinkan masuk oleh Cloudflare?
  7. Bagaimana AISeeWhy memeriksa apa yang dikirim Cloudflare ke crawler AI?

Di mana laporan crawler AI di Cloudflare?

Di dasbor, pilih akun dan domain Anda, lalu buka AI Crawl Control. Cloudflare menyatakan fitur ini bekerja tanpa konfigurasi dan tersedia di semua paket, selama trafik domain Anda diproksikan melalui Cloudflare. Ada empat bagian:

Ada dua batasan paket yang penting saat membaca angkanya. Di paket Free, AI Crawl Control mengenali crawler hanya dari string user agent-nya, jadi yang terlihat hanya crawler yang mengumumkan dirinya, dan tab Metrics mencakup 24 jam terakhir. Paket berbayar menambahkan deteksi lewat ID deteksi Bot Management, dan Enterprise dengan Bot Management mendapat rentang waktu yang bisa diatur.

Apa arti setiap kolom dan metrik di laporan AI Crawl Control?

Cloudflare mendokumentasikan kolom-kolomnya sebagai berikut. Definisinya penting, karena beberapa angka menghitung lebih banyak dari yang mungkin Anda kira.

Baca laporan berdasarkan tindakan yang Anda pilih. Crawler yang disetel Allow seharusnya menunjukkan sebagian besar permintaan yang diizinkan dan kode 2xx. Jika banyak permintaan gagal, buka distribusi kode status yang difilter untuk crawler itu, dan periksa Security Analytics untuk menemukan aturan yang membalasnya.

Bagaimana cara mengizinkan crawler pencarian AI dan memblokir crawler pelatihan di Cloudflare?

Anda bisa melakukannya per crawler atau per perilaku. Per crawler, buka AI Crawl Control dan atur Action untuk setiap baris. Cloudflare menyatakan memblokir di sana akan membuat atau memperbarui aturan kustom WAF di zona Anda, yang bisa Anda kembangkan di WAF untuk pengecualian path. Di paket berbayar Anda bisa memilih apakah crawler yang diblokir mendapat 403 atau 402 dan mengatur isi respons berupa teks biasa.

Per perilaku, buka Security, lalu Settings, filter berdasarkan Bot traffic dan buka AI Crawler and Agent access policies. Cloudflare membagi trafik AI ke dalam tiga perilaku, dan setiap kebijakan berlaku untuk bot terverifikasi dengan perilaku itu dan untuk bot tak terverifikasi yang cocok:

Setiap perilaku bisa disetel ke Block, Block on pages with ads, atau Allow (do not block). Training juga punya Disallow, yang hanya meminta crawler lewat robots.txt. Dengan Bot Preference Sync aktif, Cloudflare menambahkan aturan terkelola di awal robots.txt Anda yang melarang Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, dan meta-externalagent, menambahkan baris Content Signals, dan juga memblokir crawler pelatihan AI di edge, kecuali crawler yang dipakai untuk pencarian sekaligus pelatihan.

Untuk kebanyakan situs yang ingin dikutip AI, kombinasi yang aman adalah Search dan Agent di Allow serta Training di Disallow, lalu tindakan Block satu per satu di AI Crawl Control untuk crawler khusus pelatihan yang ingin Anda hentikan di edge.

Apa yang berubah pada pengaturan default crawler AI di Cloudflare?

Pada 1 Juli 2025, Cloudflare mengumumkan perubahan default menjadi memblokir crawler AI kecuali mereka membayar kreator. Pada 1 Juli 2026, Cloudflare mengganti satu tombol Block AI bots dengan kebijakan Search, Agent, dan Training yang terpisah seperti dijelaskan di atas, untuk semua paket termasuk Free. Pengumuman yang sama menyebut bahwa domain baru yang mulai bergabung sejak 15 September 2026 akan memblokir Training dan Agent di halaman yang menampilkan iklan, dengan Search diizinkan.

Dokumentasi kebijakan Cloudflare saat ini, terakhir diperbarui 2 November 2026, menyatakan domain baru secara default memakai Allow (do not block) untuk ketiga perilaku. Karena halaman Cloudflare sendiri pernah menyebut default yang berbeda di waktu yang berbeda, jangan mengandalkan satu pun untuk zona Anda: buka halaman kebijakan dan baca apa yang sedang disetel.

Kenapa Cloudflare masih memblokir crawler AI padahal sudah saya izinkan?

Tindakan Allow di AI Crawl Control hanya menghentikan AI Crawl Control dari memblokir. Fitur lain tetap memproses permintaan. Penyebab yang umum:

Bagaimana cara memastikan dari luar crawler AI mana yang diizinkan masuk oleh Cloudflare?

Minta halaman yang sama dengan user agent browser dan dengan user agent setiap crawler, lalu bandingkan status dan ukurannya. String OpenAI, Perplexity, dan Google di bawah ini adalah yang dipublikasikan perusahaan-perusahaan itu.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Baris crawler dengan 403, 429, atau 503, atau ukuran yang jauh lebih kecil daripada baris browser, berarti ada sesuatu di depan server origin Anda yang membalas secara berbeda. Di paket Free, AI Crawl Control mendeteksi crawler dari user agent, jadi pengujian ini cukup layak untuk memeriksa blokirnya. Aturan yang berbasis status bot terverifikasi atau skor bot bisa memperlakukan permintaan Anda berbeda dari crawler sungguhan, karena permintaan itu datang dari alamat IP Anda, bukan dari rentang IP yang dipublikasikan operatornya. Setelah menguji, cari permintaan Anda sendiri di Security Analytics untuk melihat aturan mana yang cocok.

Bagaimana AISeeWhy memeriksa apa yang dikirim Cloudflare ke crawler AI?

Pemeriksaan gratis AISeeWhy meminta halaman Anda sebagai 16 crawler AI dan crawler pencarian, berdampingan dengan browser sungguhan, menerapkan robots.txt Anda per crawler, dan mengenali halaman tantangan firewall, sehingga Anda bisa melihat apakah hasil di dasbor Cloudflare sesuai dengan apa yang benar-benar diterima crawler.

Perbaikan untuk masalah ini

Alat gratis

Langkah berikutnya

Crawler dalam artikel ini

Pertanyaan yang sering diajukan

Apakah Cloudflare AI Crawl Control gratis?

Ya. Cloudflare mencantumkan AI Crawl Control tersedia di semua paket. Paket Free mendeteksi crawler hanya dari user agent dan menampilkan 24 jam terakhir di Metrics; data rujukan dan respons blokir kustom memerlukan paket berbayar.

Apa yang terjadi pada Cloudflare AI Audit?

Namanya diganti. Dokumentasi Cloudflare menyebut AI Crawl Control sebagai nama baru AI Audit, dengan tujuan yang sama: melihat crawler AI mana yang berkunjung dan menetapkan tindakan untuk masing-masing.

Apakah memblokir crawler di AI Crawl Control mengubah robots.txt saya?

Tidak. Tindakan Block membuat atau memperbarui aturan kustom WAF. robots.txt hanya berubah jika Anda memakai opsi Disallow untuk Training dengan Bot Preference Sync, yang menambahkan aturan terkelola Cloudflare di awal file Anda.

Apa yang dihitung sebagai pelanggaran robots.txt di Cloudflare?

Permintaan dari crawler AI ke path yang dilarang robots.txt Anda. Cloudflare membandingkan permintaan lama dengan aturan Anda saat ini, jadi aturan baru bisa menandai permintaan lama yang saat itu diizinkan.

Apa itu pay per crawl?

Tindakan Charge yang meminta crawler AI membayar per permintaan, dan jika tidak, membalas dengan HTTP 402 beserta harganya. Cloudflare menyebutnya beta tertutup, dan blokir WAF atau Bot Management lebih diutamakan daripada fitur ini.

Sumber

Artikel lainnya