ClaudeBot
ClaudeBot là trình thu thập của Anthropic cho nội dung web có thể được dùng để huấn luyện các mô hình AI tạo sinh của hãng. Cấm nó trong robots.txt báo hiệu rằng nội dung tương lai của trang bạn nên bị loại khỏi huấn luyện. Chỉ chặn nó thì không ngăn được Claude-SearchBot hay Claude-User, vốn phục vụ tìm kiếm và câu trả lời trực tiếp.
Chức năng
Anthropic cho biết ClaudeBot thu thập nội dung web có thể đóng góp vào việc huấn luyện các mô hình của hãng, nhằm nâng cao tính hữu ích và an toàn. Cấm ClaudeBot báo hiệu rằng tài liệu tương lai của trang bạn nên bị loại khỏi bộ dữ liệu huấn luyện.
Anthropic cũng hỗ trợ chỉ thị Crawl-delay không chuẩn, nên bạn có thể làm ClaudeBot chậm lại thay vì chặn. Các quy tắc nêu tên ClaudeBot trong robots.txt được ưu tiên hơn tín hiệu chung của Anthropic về việc không huấn luyện AI. Quy tắc robots.txt áp dụng theo từng máy chủ, vì vậy hãy thêm chúng vào mọi tên miền phụ bạn muốn bao phủ.
Trong nghiên cứu 2026-11 của chúng tôi, 21.2% trang web phổ biến có robots.txt đã chặn bot này. →
Token robots.txt
ClaudeBot
Cách cho phép
User-agent: ClaudeBot
Allow: /Cách chặn
User-agent: ClaudeBot
Disallow: /Cách xác minh lượt truy cập thật
Anthropic công bố địa chỉ IP của các trình thu thập tại claude.com/crawling/bots.json và cho biết trình thu thập có IP nằm trong danh sách đó là của Anthropic. Hãy đối chiếu IP nguồn với danh sách thay vì tin vào user agent. Anthropic khuyên không nên dùng chặn IP để từ chối, vì như vậy trình thu thập cũng không đọc được robots.txt.
Kiểm tra xem trang của bạn có cho nó vào không →
Các trình thu thập dữ liệu của Anthropic: ClaudeBot, Claude-SearchBot và Claude-User →