Cara membaca laporan AI Crawl Control Cloudflare dan melihat crawler AI mana yang dapat masuk
Buka AI Crawl Control dalam papan pemuka Cloudflare anda: senarai crawler menunjukkan setiap crawler AI yang dikesan Cloudflare pada domain anda, permintaannya, pelanggaran robots.txt dan sama ada tindakannya Allow atau Block. Untuk mengekalkan carian AI sambil menolak latihan, benarkan crawler carian dan ejen, dan sekat atau larang crawler latihan di situ atau di bawah AI Crawler and Agent access policies. Kemudian sahkan dari luar dengan curl, kerana ciri Cloudflare lain masih boleh menyekat crawler yang anda benarkan.
Cloudflare kini mempunyai dua tempat yang menentukan apa yang diterima crawler AI: AI Crawl Control, laporan dan papan suis bagi setiap crawler yang dahulunya dipanggil AI Audit, dan AI Crawler and Agent access policies untuk seluruh zon di bawah tetapan Security. Kedua-duanya tersedia pada pelan Free, kedua-duanya berubah sepanjang 2026, dan tiada satu pun memberitahu anda tentang setiap ciri lain yang masih boleh membalas crawler dengan 403. Panduan ini menerangkan laporan itu lajur demi lajur, menunjukkan di mana untuk menetapkan allow dan block, dan diakhiri dengan ujian yang boleh anda jalankan dari mesin sendiri.
Dalam halaman ini
- Di mana laporan crawler AI dalam Cloudflare?
- Apakah maksud setiap lajur dan metrik dalam laporan AI Crawl Control?
- Bagaimana saya membenarkan crawler carian AI dan menyekat crawler latihan dalam Cloudflare?
- Apa yang berubah dalam tetapan lalai crawler AI Cloudflare?
- Mengapa Cloudflare masih menyekat crawler AI selepas saya membenarkannya?
- Bagaimana saya mengesahkan dari luar crawler AI mana yang dibenarkan masuk oleh Cloudflare?
- Bagaimana AISeeWhy menyemak apa yang dihantar Cloudflare kepada crawler AI?
Di mana laporan crawler AI dalam Cloudflare?
Dalam papan pemuka, pilih akaun dan domain anda, kemudian buka AI Crawl Control. Cloudflare menyatakan ia berfungsi tanpa konfigurasi dan tersedia pada semua pelan, selagi trafik domain anda diproksi melalui Cloudflare. Ia mempunyai empat bahagian:
- Overview: ringkasan eksekutif dengan jumlah permintaan, perubahan volum, kod status yang paling biasa, laluan paling popular dan crawler bervolum tinggi, serta sama ada robots.txt terurus Cloudflare dihidupkan, dan crawler yang dikumpulkan mengikut pengendali seperti OpenAI, Microsoft, Google, ByteDance, Anthropic dan Meta.
- Senarai crawler: satu baris bagi setiap crawler AI, dengan lajur Action tempat anda memilih Allow atau Block. Dokumentasi Cloudflare memanggil tab ini Crawlers pada satu halaman dan Security pada halaman lain, jadi cari jadual yang mempunyai lajur Action.
- Metrics: permintaan dari semasa ke semasa, taburan kod status, format kandungan, laluan paling popular dan, pada pelan berbayar, rujukan. Penapis meliputi julat tarikh, crawler, pengendali, nama hos dan laluan, dan anda boleh mengeksport CSV.
- Directives: kesihatan fail robots.txt anda dan senarai pelanggaran robots.txt.
Dua had pelan penting semasa membaca angka. Pada pelan Free, AI Crawl Control mengenali crawler melalui rentetan user agent sahaja, jadi ia hanya melihat crawler yang memperkenalkan diri, dan tab Metrics meliputi 24 jam lepas. Pelan berbayar menambah pengesanan melalui ID pengesanan Bot Management, dan Enterprise dengan Bot Management mendapat tempoh masa yang boleh dikonfigurasi.
Apakah maksud setiap lajur dan metrik dalam laporan AI Crawl Control?
Cloudflare mendokumenkan medan seperti berikut. Takrifannya penting, kerana beberapa angka mengira lebih daripada yang mungkin anda jangka.
- Crawler dan Category: nama crawler, pengendalinya, dan kategorinya, seperti AI crawler, AI assistant atau archiver.
- Requests: permintaan yang dibenarkan ditambah permintaan yang tidak berjaya, dengan carta trend. Permintaan yang tidak berjaya boleh datang daripada sebarang peraturan atau ralat respons, bukan hanya daripada sekatan AI Crawl Control, jadi angka tinggi bagi crawler yang anda benarkan menunjuk kepada peraturan lain atau ralat pada origin anda.
- Allowed requests: permintaan yang menerima status antara 200 dan 299. Pemindahan data diukur daripada bait yang dihantar Cloudflare untuk permintaan yang dibenarkan.
- Robots.txt violations: berapa kali crawler meminta laluan yang dilarang oleh robots.txt anda. Cloudflare membandingkan permintaan lalu dengan peraturan semasa anda, jadi peraturan yang anda tambah hari ini boleh menandakan permintaan yang dibenarkan semasa ia dibuat.
- Action: Allow, Block, atau, bagi akaun dalam beta pay per crawl, Charge.
- Taburan kod status: 2xx, 3xx, 4xx dan 5xx. Kumpulan 4xx termasuk 403 daripada sekatan dan 402 daripada pay per crawl.
- Referrals dan perujuk teratas, pelan berbayar sahaja: lawatan yang tiba daripada perkhidmatan AI, contohnya dari chatgpt.com, dan halaman tempat ia mendarat.
Baca laporan berdasarkan tindakan yang anda pilih. Crawler yang ditetapkan kepada Allow sepatutnya menunjukkan kebanyakan permintaan dibenarkan dan kod 2xx. Jika ia menunjukkan banyak permintaan tidak berjaya, buka taburan kod status yang ditapis kepada crawler itu, dan semak Security Analytics untuk mencari peraturan yang membalas.
Bagaimana saya membenarkan crawler carian AI dan menyekat crawler latihan dalam Cloudflare?
Anda boleh melakukannya bagi setiap crawler atau mengikut tingkah laku. Bagi setiap crawler, buka AI Crawl Control dan tetapkan Action untuk setiap baris. Cloudflare menyatakan sekatan di situ mencipta atau mengemas kini peraturan tersuai WAF pada zon anda, yang boleh anda lanjutkan dalam WAF untuk pengecualian laluan. Pada pelan berbayar anda boleh memilih sama ada crawler yang disekat mendapat 403 atau 402 dan menetapkan badan teks biasa.
Mengikut tingkah laku, pergi ke Security, kemudian Settings, tapis mengikut Bot traffic dan buka AI Crawler and Agent access policies. Cloudflare mengasingkan trafik AI kepada tiga tingkah laku, dan setiap dasar terpakai kepada bot disahkan dengan tingkah laku itu dan kepada bot tidak disahkan yang sepadan:
- Search: mengumpul atau mengindeks kandungan supaya boleh menjawab soalan kemudian.
- Agent: bertindak secara masa nyata bagi pihak seseorang, seperti pengambilan oleh sembang dan ejen pelayar.
- Training: mengumpul kandungan untuk melatih atau memperhalusi model, termasuk crawler yang digunakan untuk latihan dan carian sekali gus.
Setiap tingkah laku boleh ditetapkan kepada Block, Block on pages with ads, atau Allow (do not block). Training juga mempunyai Disallow, yang hanya meminta crawler melalui robots.txt. Dengan Bot Preference Sync dihidupkan, Cloudflare menambah peraturan terurus di awal robots.txt anda yang melarang Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot dan meta-externalagent, menambah baris Content Signals, dan juga menyekat crawler latihan AI di edge, kecuali crawler yang digunakan untuk carian dan latihan sekali gus.
Bagi kebanyakan laman yang mahukan petikan AI, gabungan yang selamat ialah Search dan Agent pada Allow dan Training pada Disallow, kemudian tindakan Block individu dalam AI Crawl Control untuk crawler khusus latihan yang anda mahu hentikan di edge.
Apa yang berubah dalam tetapan lalai crawler AI Cloudflare?
Pada 1 Julai 2025, Cloudflare mengumumkan bahawa ia menukar tetapan lalai kepada menyekat crawler AI melainkan mereka membayar pencipta. Pada 1 Julai 2026, ia menggantikan suis tunggal Block AI bots dengan dasar Search, Agent dan Training yang berasingan seperti di atas, untuk semua pelan termasuk Free. Pengumuman yang sama menyatakan domain baharu yang didaftarkan mulai 15 September 2026 akan mempunyai Training dan Agent disekat pada halaman yang memaparkan iklan, dengan Search dibenarkan.
Dokumentasi dasar Cloudflare semasa, yang terakhir dikemas kini pada 2 November 2026, menyatakan domain baharu ditetapkan secara lalai kepada Allow (do not block) untuk ketiga-tiga tingkah laku. Oleh kerana halaman Cloudflare sendiri menerangkan tetapan lalai yang berbeza pada masa yang berbeza, jangan bergantung pada mana-mana satu untuk zon anda: buka halaman dasar dan baca apa yang ditetapkan.
Mengapa Cloudflare masih menyekat crawler AI selepas saya membenarkannya?
Tindakan Allow dalam AI Crawl Control hanya menghentikan AI Crawl Control daripada menyekat. Ciri lain masih bertindak ke atas permintaan. Punca yang biasa:
- Menyekat Training juga menyekat crawler carian yang melakukan kedua-duanya. Dokumentasi Cloudflare menyatakan tindakan Training terpakai kepada crawler pelbagai tujuan, dan pengumuman Julai 2026 menamakan Googlebot, Applebot dan bingbot sebagai crawler yang akan disekat mulai 15 September 2026 oleh pelanggan yang menyekat Training. Disallow ialah pilihan yang lebih sempit, kerana sekatan edge-nya melangkau crawler pelbagai tujuan.
- Bot Fight Mode dihidupkan. Cloudflare menyatakan anda tidak boleh memintas atau melangkau Bot Fight Mode menggunakan peraturan tersuai WAF atau Page Rules. Jika ia mencabar crawler, matikannya, atau pada pelan yang menyediakannya gunakan Super Bot Fight Mode, yang menyokong peraturan langkau.
- Peraturan tersuai WAF yang lebih lama menyekat user agent yang mengandungi
bot, atau peraturan had kadar membalas lonjakan dengan 429. Peraturan ini berjalan tanpa mengira Action dalam AI Crawl Control. - Peraturan sekatan disunting secara manual. Jika peraturan WAF di sebalik AI Crawl Control ditukar kepada kod respons lain, papan pemuka tidak lagi dapat menguatkuasakan pilihan anda.
- robots.txt masih melarang crawler itu. Allow dalam Cloudflare tidak mengubah robots.txt anda, jadi crawler yang patuh tetap menjauh. Dalam kajian kami terhadap 1,000 domain paling popular, 98 daripada 155 laman yang menyekat crawler latihan AI dalam robots.txt juga menyekat sekurang-kurangnya satu crawler carian atau pengguna AI.
Bagaimana saya mengesahkan dari luar crawler AI mana yang dibenarkan masuk oleh Cloudflare?
Minta halaman yang sama dengan user agent pelayar dan dengan user agent setiap crawler, kemudian bandingkan status dan saiz. Rentetan OpenAI, Perplexity dan Google di bawah ialah yang diterbitkan oleh syarikat-syarikat itu.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Baris crawler dengan 403, 429 atau 503, atau saiz yang jauh lebih kecil daripada baris pelayar, bermakna sesuatu di hadapan origin anda membalas secara berbeza. Pada pelan Free, AI Crawl Control mengesan crawler melalui user agent, jadi ujian ini ialah semakan yang munasabah terhadap sekatannya. Peraturan berdasarkan status bot disahkan atau skor bot boleh melayan permintaan anda secara berbeza daripada crawler sebenar, kerana ia datang dari alamat IP anda dan bukan dari julat yang diterbitkan pengendali. Selepas menguji, cari permintaan anda sendiri dalam Security Analytics untuk melihat peraturan mana yang sepadan.
Bagaimana AISeeWhy menyemak apa yang dihantar Cloudflare kepada crawler AI?
Semakan percuma AISeeWhy meminta halaman anda sebagai 16 crawler AI dan carian bersebelahan pelayar sebenar, menggunakan robots.txt anda bagi setiap crawler dan mengenali halaman cabaran firewall, supaya anda dapat melihat sama ada hasil dalam papan pemuka Cloudflare sepadan dengan apa yang benar-benar diterima crawler.
Pembetulan untuk masalah ini
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Semakan IP perangkak AI
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Adakah Cloudflare AI Crawl Control percuma?
Ya. Cloudflare menyenaraikan AI Crawl Control sebagai tersedia pada semua pelan. Pelan Free mengesan crawler melalui user agent sahaja dan menunjukkan 24 jam lepas dalam Metrics; data rujukan dan respons sekatan tersuai memerlukan pelan berbayar.
Apa yang berlaku kepada Cloudflare AI Audit?
Ia dinamakan semula. Dokumentasi Cloudflare menerangkan AI Crawl Control sebagai dahulunya AI Audit, dengan tujuan yang sama: melihat crawler AI mana yang melawat dan menetapkan tindakan bagi setiap satu.
Adakah menyekat crawler dalam AI Crawl Control mengubah robots.txt saya?
Tidak. Tindakan Block mencipta atau mengemas kini peraturan tersuai WAF. robots.txt hanya berubah jika anda menggunakan pilihan Disallow untuk Training dengan Bot Preference Sync, yang menambah peraturan terurus Cloudflare di awal fail anda.
Apa yang dikira sebagai pelanggaran robots.txt dalam Cloudflare?
Permintaan daripada crawler AI ke laluan yang dilarang oleh robots.txt anda. Cloudflare membandingkan permintaan lalu dengan peraturan semasa anda, jadi peraturan baharu boleh menandakan permintaan lama yang dibenarkan pada masa itu.
Apakah pay per crawl?
Tindakan Charge yang meminta crawler AI membayar bagi setiap permintaan, dan jika tidak membalas dengan HTTP 402 serta harga. Cloudflare menerangkannya sebagai beta tertutup, dan sekatan WAF atau Bot Management diutamakan berbanding tindakan ini.
Sumber
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Laporan Akses Crawler AI, 2026-11