CCBot
CCBot ialah perangkak Common Crawl, sebuah organisasi bukan untung yang menyelenggara repositori data rangkak web yang percuma dan terbuka. Arkib ini digunakan secara meluas oleh penyelidik dan pembangun AI, jadi menyekat CCBot terutamanya keputusan berkaitan latihan. Ia tidak menjejaskan mana-mana enjin carian atau produk carian AI secara langsung.
Fungsinya
Common Crawl ialah organisasi bukan untung yang menghasilkan dan menyelenggara repositori terbuka data rangkak web, tersedia kepada sesiapa sahaja tanpa bayaran. CCBot mengumpul data itu. Common Crawl menyatakan ia menyemak robots.txt sebelum mencapai halaman, mematuhi Crawl-delay, dan tidak melaksanakan JavaScript.
Untuk menyekatnya, Common Crawl mendokumenkan kumpulan robots.txt untuk token CCBot dengan Disallow: /. Untuk memperlahankannya sahaja, ia mencadangkan baris Crawl-delay dalam kumpulan yang sama.
Dalam kajian 2026-11 kami, 24.1% laman popular yang mempunyai robots.txt telah menyekatnya. →
Token robots.txt
CCBot
Rentetan user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Cara membenarkannya
User-agent: CCBot
Allow: /Cara menyekatnya
User-agent: CCBot
Disallow: /Cara mengesahkan lawatan sebenar
Common Crawl menjalankan CCBot pada julat IP khusus dengan DNS songsang, jadi anda boleh menyemak sama ada permintaan yang dilog datang daripada CCBot yang sebenar. Ia menerbitkan julat IPv4 dan IPv6 sebagai JSON dan memberi amaran bahawa perangkak lain secara palsu mengenal pasti diri sebagai CCBot.
Semak sama ada laman anda membenarkannya masuk →
robots.txt untuk crawler AI: apa yang dibenarkan, apa yang disekat →