Cara membaca laporan AI Crawl Control Cloudflare dan melihat crawler AI mana yang dapat masuk

Diterbitkan

Jawapan ringkas

Buka AI Crawl Control dalam papan pemuka Cloudflare anda: senarai crawler menunjukkan setiap crawler AI yang dikesan Cloudflare pada domain anda, permintaannya, pelanggaran robots.txt dan sama ada tindakannya Allow atau Block. Untuk mengekalkan carian AI sambil menolak latihan, benarkan crawler carian dan ejen, dan sekat atau larang crawler latihan di situ atau di bawah AI Crawler and Agent access policies. Kemudian sahkan dari luar dengan curl, kerana ciri Cloudflare lain masih boleh menyekat crawler yang anda benarkan.

Cloudflare kini mempunyai dua tempat yang menentukan apa yang diterima crawler AI: AI Crawl Control, laporan dan papan suis bagi setiap crawler yang dahulunya dipanggil AI Audit, dan AI Crawler and Agent access policies untuk seluruh zon di bawah tetapan Security. Kedua-duanya tersedia pada pelan Free, kedua-duanya berubah sepanjang 2026, dan tiada satu pun memberitahu anda tentang setiap ciri lain yang masih boleh membalas crawler dengan 403. Panduan ini menerangkan laporan itu lajur demi lajur, menunjukkan di mana untuk menetapkan allow dan block, dan diakhiri dengan ujian yang boleh anda jalankan dari mesin sendiri.

Dalam halaman ini
  1. Di mana laporan crawler AI dalam Cloudflare?
  2. Apakah maksud setiap lajur dan metrik dalam laporan AI Crawl Control?
  3. Bagaimana saya membenarkan crawler carian AI dan menyekat crawler latihan dalam Cloudflare?
  4. Apa yang berubah dalam tetapan lalai crawler AI Cloudflare?
  5. Mengapa Cloudflare masih menyekat crawler AI selepas saya membenarkannya?
  6. Bagaimana saya mengesahkan dari luar crawler AI mana yang dibenarkan masuk oleh Cloudflare?
  7. Bagaimana AISeeWhy menyemak apa yang dihantar Cloudflare kepada crawler AI?

Di mana laporan crawler AI dalam Cloudflare?

Dalam papan pemuka, pilih akaun dan domain anda, kemudian buka AI Crawl Control. Cloudflare menyatakan ia berfungsi tanpa konfigurasi dan tersedia pada semua pelan, selagi trafik domain anda diproksi melalui Cloudflare. Ia mempunyai empat bahagian:

Dua had pelan penting semasa membaca angka. Pada pelan Free, AI Crawl Control mengenali crawler melalui rentetan user agent sahaja, jadi ia hanya melihat crawler yang memperkenalkan diri, dan tab Metrics meliputi 24 jam lepas. Pelan berbayar menambah pengesanan melalui ID pengesanan Bot Management, dan Enterprise dengan Bot Management mendapat tempoh masa yang boleh dikonfigurasi.

Apakah maksud setiap lajur dan metrik dalam laporan AI Crawl Control?

Cloudflare mendokumenkan medan seperti berikut. Takrifannya penting, kerana beberapa angka mengira lebih daripada yang mungkin anda jangka.

Baca laporan berdasarkan tindakan yang anda pilih. Crawler yang ditetapkan kepada Allow sepatutnya menunjukkan kebanyakan permintaan dibenarkan dan kod 2xx. Jika ia menunjukkan banyak permintaan tidak berjaya, buka taburan kod status yang ditapis kepada crawler itu, dan semak Security Analytics untuk mencari peraturan yang membalas.

Bagaimana saya membenarkan crawler carian AI dan menyekat crawler latihan dalam Cloudflare?

Anda boleh melakukannya bagi setiap crawler atau mengikut tingkah laku. Bagi setiap crawler, buka AI Crawl Control dan tetapkan Action untuk setiap baris. Cloudflare menyatakan sekatan di situ mencipta atau mengemas kini peraturan tersuai WAF pada zon anda, yang boleh anda lanjutkan dalam WAF untuk pengecualian laluan. Pada pelan berbayar anda boleh memilih sama ada crawler yang disekat mendapat 403 atau 402 dan menetapkan badan teks biasa.

Mengikut tingkah laku, pergi ke Security, kemudian Settings, tapis mengikut Bot traffic dan buka AI Crawler and Agent access policies. Cloudflare mengasingkan trafik AI kepada tiga tingkah laku, dan setiap dasar terpakai kepada bot disahkan dengan tingkah laku itu dan kepada bot tidak disahkan yang sepadan:

Setiap tingkah laku boleh ditetapkan kepada Block, Block on pages with ads, atau Allow (do not block). Training juga mempunyai Disallow, yang hanya meminta crawler melalui robots.txt. Dengan Bot Preference Sync dihidupkan, Cloudflare menambah peraturan terurus di awal robots.txt anda yang melarang Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot dan meta-externalagent, menambah baris Content Signals, dan juga menyekat crawler latihan AI di edge, kecuali crawler yang digunakan untuk carian dan latihan sekali gus.

Bagi kebanyakan laman yang mahukan petikan AI, gabungan yang selamat ialah Search dan Agent pada Allow dan Training pada Disallow, kemudian tindakan Block individu dalam AI Crawl Control untuk crawler khusus latihan yang anda mahu hentikan di edge.

Apa yang berubah dalam tetapan lalai crawler AI Cloudflare?

Pada 1 Julai 2025, Cloudflare mengumumkan bahawa ia menukar tetapan lalai kepada menyekat crawler AI melainkan mereka membayar pencipta. Pada 1 Julai 2026, ia menggantikan suis tunggal Block AI bots dengan dasar Search, Agent dan Training yang berasingan seperti di atas, untuk semua pelan termasuk Free. Pengumuman yang sama menyatakan domain baharu yang didaftarkan mulai 15 September 2026 akan mempunyai Training dan Agent disekat pada halaman yang memaparkan iklan, dengan Search dibenarkan.

Dokumentasi dasar Cloudflare semasa, yang terakhir dikemas kini pada 2 November 2026, menyatakan domain baharu ditetapkan secara lalai kepada Allow (do not block) untuk ketiga-tiga tingkah laku. Oleh kerana halaman Cloudflare sendiri menerangkan tetapan lalai yang berbeza pada masa yang berbeza, jangan bergantung pada mana-mana satu untuk zon anda: buka halaman dasar dan baca apa yang ditetapkan.

Mengapa Cloudflare masih menyekat crawler AI selepas saya membenarkannya?

Tindakan Allow dalam AI Crawl Control hanya menghentikan AI Crawl Control daripada menyekat. Ciri lain masih bertindak ke atas permintaan. Punca yang biasa:

Bagaimana saya mengesahkan dari luar crawler AI mana yang dibenarkan masuk oleh Cloudflare?

Minta halaman yang sama dengan user agent pelayar dan dengan user agent setiap crawler, kemudian bandingkan status dan saiz. Rentetan OpenAI, Perplexity dan Google di bawah ialah yang diterbitkan oleh syarikat-syarikat itu.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Baris crawler dengan 403, 429 atau 503, atau saiz yang jauh lebih kecil daripada baris pelayar, bermakna sesuatu di hadapan origin anda membalas secara berbeza. Pada pelan Free, AI Crawl Control mengesan crawler melalui user agent, jadi ujian ini ialah semakan yang munasabah terhadap sekatannya. Peraturan berdasarkan status bot disahkan atau skor bot boleh melayan permintaan anda secara berbeza daripada crawler sebenar, kerana ia datang dari alamat IP anda dan bukan dari julat yang diterbitkan pengendali. Selepas menguji, cari permintaan anda sendiri dalam Security Analytics untuk melihat peraturan mana yang sepadan.

Bagaimana AISeeWhy menyemak apa yang dihantar Cloudflare kepada crawler AI?

Semakan percuma AISeeWhy meminta halaman anda sebagai 16 crawler AI dan carian bersebelahan pelayar sebenar, menggunakan robots.txt anda bagi setiap crawler dan mengenali halaman cabaran firewall, supaya anda dapat melihat sama ada hasil dalam papan pemuka Cloudflare sepadan dengan apa yang benar-benar diterima crawler.

Pembetulan untuk masalah ini

Alat percuma

Langkah seterusnya

Perangkak dalam artikel ini

Soalan lazim

Adakah Cloudflare AI Crawl Control percuma?

Ya. Cloudflare menyenaraikan AI Crawl Control sebagai tersedia pada semua pelan. Pelan Free mengesan crawler melalui user agent sahaja dan menunjukkan 24 jam lepas dalam Metrics; data rujukan dan respons sekatan tersuai memerlukan pelan berbayar.

Apa yang berlaku kepada Cloudflare AI Audit?

Ia dinamakan semula. Dokumentasi Cloudflare menerangkan AI Crawl Control sebagai dahulunya AI Audit, dengan tujuan yang sama: melihat crawler AI mana yang melawat dan menetapkan tindakan bagi setiap satu.

Adakah menyekat crawler dalam AI Crawl Control mengubah robots.txt saya?

Tidak. Tindakan Block mencipta atau mengemas kini peraturan tersuai WAF. robots.txt hanya berubah jika anda menggunakan pilihan Disallow untuk Training dengan Bot Preference Sync, yang menambah peraturan terurus Cloudflare di awal fail anda.

Apa yang dikira sebagai pelanggaran robots.txt dalam Cloudflare?

Permintaan daripada crawler AI ke laluan yang dilarang oleh robots.txt anda. Cloudflare membandingkan permintaan lalu dengan peraturan semasa anda, jadi peraturan baharu boleh menandakan permintaan lama yang dibenarkan pada masa itu.

Apakah pay per crawl?

Tindakan Charge yang meminta crawler AI membayar bagi setiap permintaan, dan jika tidak membalas dengan HTTP 402 serta harga. Cloudflare menerangkannya sebagai beta tertutup, dan sekatan WAF atau Bot Management diutamakan berbanding tindakan ini.

Sumber

Artikel lain