CCBot
CCBot là trình thu thập của Common Crawl, một tổ chức phi lợi nhuận duy trì kho dữ liệu thu thập web mở và miễn phí. Kho lưu trữ này được các nhà nghiên cứu và nhà phát triển AI sử dụng rộng rãi, nên chặn CCBot chủ yếu là quyết định về huấn luyện. Nó không ảnh hưởng trực tiếp đến công cụ tìm kiếm hay sản phẩm tìm kiếm AI nào.
Chức năng
Common Crawl là tổ chức phi lợi nhuận tạo ra và duy trì kho dữ liệu thu thập web mở, ai cũng dùng được miễn phí. CCBot thu thập dữ liệu đó. Common Crawl cho biết họ kiểm tra robots.txt trước khi tải một trang, tuân thủ Crawl-delay và không thực thi JavaScript.
Để chặn nó, Common Crawl hướng dẫn dùng một nhóm robots.txt cho token CCBot với Disallow: /. Để làm nó chậm lại thay vì chặn, họ gợi ý thêm một dòng Crawl-delay trong cùng nhóm.
Trong nghiên cứu 2026-11 của chúng tôi, 24.1% trang web phổ biến có robots.txt đã chặn bot này. →
Token robots.txt
CCBot
Chuỗi user agent
CCBot/2.0 (https://commoncrawl.org/faq/)Cách cho phép
User-agent: CCBot
Allow: /Cách chặn
User-agent: CCBot
Disallow: /Cách xác minh lượt truy cập thật
Common Crawl chạy CCBot trên các dải IP riêng có DNS ngược, nên bạn có thể kiểm tra một yêu cầu trong nhật ký có đến từ CCBot thật hay không. Họ công bố dải IPv4 và IPv6 dưới dạng JSON và cảnh báo rằng các trình thu thập khác mạo danh là CCBot.
Kiểm tra xem trang của bạn có cho nó vào không →
robots.txt cho trình thu thập dữ liệu AI: nên cho phép gì, chặn gì →