CCBot

Common Crawl · Pelatihan AI

CCBot adalah crawler Common Crawl, organisasi nirlaba yang mengelola repositori data crawl web yang gratis dan terbuka. Arsip ini banyak dipakai peneliti dan pengembang AI, sehingga memblokir CCBot terutama merupakan keputusan soal pelatihan. Hal ini tidak memengaruhi mesin pencari atau produk pencarian AI mana pun secara langsung.

Fungsinya

Common Crawl adalah organisasi nirlaba yang membuat dan mengelola repositori terbuka data crawl web, tersedia bagi siapa saja tanpa biaya. CCBot mengumpulkan data itu. Common Crawl menyatakan bahwa mereka memeriksa robots.txt sebelum mengambil halaman, mematuhi Crawl-delay, dan tidak menjalankan JavaScript.

Untuk memblokirnya, Common Crawl mendokumentasikan grup robots.txt untuk token CCBot dengan Disallow: /. Untuk memperlambatnya saja, mereka menyarankan baris Crawl-delay dalam grup yang sama.

Dalam studi kami pada 2026-11, 24.1% situs populer yang memiliki robots.txt memblokirnya. →

Token robots.txt

CCBot

String user agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Cara mengizinkannya

User-agent: CCBot
Allow: /

Cara memblokirnya

User-agent: CCBot
Disallow: /

Cara memverifikasi kunjungan asli

Common Crawl menjalankan CCBot pada rentang IP khusus dengan DNS terbalik, sehingga Anda dapat memeriksa apakah permintaan yang tercatat berasal dari CCBot asli. Rentang IPv4 dan IPv6 dipublikasikan sebagai JSON, dan Common Crawl memperingatkan bahwa crawler lain mengaku-ngaku sebagai CCBot.

Periksa apakah situs Anda mengizinkannya →

robots.txt untuk crawler AI: apa yang diizinkan, apa yang diblokir →