Apakah Cloudflare memblokir crawler AI? Cara mengeceknya dan memperbaikinya

Dipublikasikan 2026-11-12

Jawaban singkat

Cloudflare dan firewall lain bisa membalas crawler AI dengan 403, 429, atau halaman tantangan "Just a moment..." sementara browser mendapat halaman aslinya, bahkan saat robots.txt mengizinkan crawler itu. Periksa dengan meminta halaman memakai user agent crawler, lalu izinkan crawler pencarian AI di AI Crawl Control atau dengan aturan skip WAF.

Perlindungan bot dibuat untuk menghentikan scraper dan penyalahgunaan, dan memang efektif. Masalahnya, crawler pencarian AI juga bot. Pengaturan keamanan yang diaktifkan bertahun-tahun lalu, batas laju (rate limit), atau aturan luas terhadap user agent yang tidak dikenal bisa diam-diam menahan crawler yang mengutip Anda, sementara kunjungan Anda sendiri tampak normal.

Di halaman ini

Mengapa firewall memblokir crawler AI?
Bagaimana membedakan blokir firewall dari blokir robots.txt?
Bagaimana mengizinkan crawler pencarian AI di Cloudflare?
Bagaimana dengan Bot Fight Mode?
Crawler mana yang sebaiknya diloloskan?
Bagaimana AISeeWhy mendeteksi blokir firewall?

Mengapa firewall memblokir crawler AI?

Firewall menilai setiap permintaan. Crawler tidak menjalankan tantangan JavaScript, tidak menyimpan cookie seperti browser, dan sering meminta banyak halaman berturut-turut, sehingga bisa terlihat persis seperti lalu lintas yang hendak dihentikan perlindungan bot. Penyebab yang umum:

Fitur perlindungan bot yang menantang lalu lintas yang cocok dengan pola bot yang dikenal. Bot Fight Mode milik Cloudflare, misalnya, memberikan tantangan yang berat secara komputasi kepada bot.
Aturan kustom WAF yang memblokir atau menantang user agent yang mengandung kata seperti "bot" atau "crawler", atau yang hanya mengizinkan daftar pendek mesin pencari.
Pengaturan yang memblokir crawler AI sebagai satu kategori. Cloudflare memungkinkan Anda menetapkan kebijakan untuk crawler Search, Agent, dan Training, dan pengaturan Block di sana berlaku untuk semuanya.
Rate limiting yang membalas rentetan permintaan cepat dari crawler dengan 429.
Blokir negara atau ASN yang kebetulan mencakup jaringan tempat crawler berjalan.

Bagaimana membedakan blokir firewall dari blokir robots.txt?

Blokir robots.txt adalah permintaan yang sopan: crawler membaca aturan Anda dan tidak mengambil halaman. Blokir firewall adalah jawaban: crawler meminta halaman dan mendapat sesuatu yang lain. Jenis kedua bisa Anda lihat langsung. Minta halaman dua kali, sekali dengan user agent browser dan sekali dengan user agent crawler, lalu bandingkan.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Tanda blokir firewall: status 403, 429, atau 503 hanya untuk crawler; halaman berjudul Just a moment... atau Attention Required! | Cloudflare; isi yang memuat /cdn-cgi/challenge-platform; atau respons 200 yang jauh lebih pendek daripada milik browser. Ingat bahwa pengujian Anda datang dari IP Anda sendiri, bukan dari rentang IP crawler yang terverifikasi, jadi hasilnya menunjukkan bagaimana firewall memperlakukan user agent, bukan setiap detail perlakuannya terhadap crawler asli.

Bagaimana mengizinkan crawler pencarian AI di Cloudflare?

AI Crawl Control milik Cloudflare, yang tersedia di semua paket, mendaftar crawler AI yang mengunjungi domain Anda dan memungkinkan Anda menetapkan tindakan untuk masing-masing. Di dashboard, buka AI Crawl Control, masuk ke daftar Crawlers, lalu pilih Allow atau Block di kolom Action untuk tiap crawler. Cloudflare menyebut bahwa memblokir di sana membuat atau memperbarui aturan kustom WAF pada zona Anda.

Jika yang memblokir crawler adalah aturan kustom WAF, Super Bot Fight Mode, atau rate limiting, tambahkan aturan kustom yang melewati fitur-fitur tersebut untuk bot terverifikasi dan untuk token crawler:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Letakkan aturan ini di urutan pertama. Perlu diingat bahwa mencocokkan user agent juga meloloskan siapa pun yang memalsukan user agent itu. Jika memungkinkan, pilih kolom bot terverifikasi (cf.client.bot) atau rentang IP yang dipublikasikan vendor.

Bagaimana dengan Bot Fight Mode?

Dokumentasi Cloudflare menegaskan bahwa Bot Fight Mode tidak bisa dilewati atau di-skip dengan aturan kustom WAF maupun Page Rules. Jika fitur inilah yang menantang crawler, aturan skip tidak akan membantu. Pilihannya adalah mematikan Bot Fight Mode, atau memakai Super Bot Fight Mode pada paket yang menyediakannya, yang berjalan di Ruleset Engine dan mendukung aturan skip.

Crawler mana yang sebaiknya diloloskan?

Pisahkan crawler berdasarkan fungsinya. Crawler pencarian dan crawler pengambilan atas permintaan pengguna menentukan apakah jawaban AI bisa menemukan dan mengutip Anda. Crawler pelatihan mengumpulkan data untuk model, dan memblokirnya adalah pilihan yang sah yang tidak mengeluarkan Anda dari pencarian AI.

Pencarian: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
Pengambilan oleh pengguna: ChatGPT-User, Claude-User, Perplexity-User.
Pelatihan: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Pengaturan kebijakan Cloudflare sendiri memakai pembagian yang sama: Search, Agent, dan Training, sehingga Anda bisa mengizinkan dua yang pertama dan memutuskan yang ketiga secara terpisah. Jika Anda memakai firewall atau CDN lain, prinsipnya sama: masukkan token crawler ke allowlist, diverifikasi lewat rentang IP yang dipublikasikan vendor atau reverse DNS jika tersedia, agar crawler mendapat respons yang sama dengan browser.

Bagaimana AISeeWhy mendeteksi blokir firewall?

AISeeWhy meminta halaman Anda sebagai 14 crawler dan satu browser biasa, membandingkan status, ukuran, dan pengalihan, mengenali halaman tantangan, dan menyebut nama firewall atau CDN yang membalas. Ketika robots.txt mengizinkan crawler tetapi server memblokirnya, laporan menampilkan konfliknya dan memberi aturan Cloudflare atau langkah allowlist untuk memperbaikinya.

Pertanyaan yang sering diajukan

Apakah Cloudflare memblokir crawler AI secara default?

Tergantung akun, paket, dan pengaturan di zona Anda, dan Cloudflare telah mengubah opsi ini dari waktu ke waktu. Periksa AI Crawl Control dan pengaturan bot Anda, lalu uji dengan user agent crawler, jangan berasumsi.

Mengapa situs saya berfungsi di browser tetapi tidak untuk crawler?

Firewall menilai setiap permintaan. Browser lolos tantangan JavaScript dan menyimpan cookie; crawler tidak, sehingga bisa menerima halaman tantangan atau 403 yang tidak pernah Anda lihat.

Apakah aman mengizinkan crawler AI lewat WAF?

Mengizinkan crawler bernama berisiko rendah jika Anda memverifikasinya lewat rentang IP vendor atau sinyal bot terverifikasi Cloudflare. Aturan yang hanya memercayai user agent juga meloloskan siapa pun yang menyalinnya.

Apakah fitur email obfuscation Cloudflare memengaruhi crawler AI?

Fitur itu mengganti alamat email dengan tautan yang hanya bisa didekode oleh skrip, sehingga crawler melihat placeholder, bukan alamatnya. Jika Anda ingin email kontak terbaca, matikan Email Address Obfuscation di Scrape Shield dan tampilkan alamat sebagai teks biasa.