AISeeWhy
VI
Dùng thử miễn phí

Các trình thu thập dữ liệu của Anthropic: ClaudeBot, Claude-SearchBot và Claude-User

Đăng ngày

Trả lời ngắn

Anthropic vận hành ba tác nhân: ClaudeBot thu thập nội dung có thể dùng để huấn luyện mô hình, Claude-SearchBot thu thập dữ liệu để cải thiện kết quả tìm kiếm của Claude, và Claude-User tải trang khi câu hỏi của người dùng Claude cần đến. Mỗi tác nhân có token robots.txt riêng, và Anthropic cho biết cả ba đều tuân thủ robots.txt. Chỉ chặn ClaudeBot không ngăn được tìm kiếm hay các lượt tải của người dùng.

Anthropic mô tả các trình thu thập dữ liệu của mình trên một trang trợ giúp duy nhất, và cấu trúc giống các nhà cung cấp AI khác: một tác nhân để huấn luyện, một để tìm kiếm và một để tải trang trực tiếp thay mặt người dùng. Nếu bạn muốn Claude tìm và trích dẫn được các trang của mình, hai cái sau là quan trọng nhất.

Trong trang này
  1. ClaudeBot làm gì?
  2. Claude-SearchBot làm gì?
  3. Claude-User làm gì?
  4. Làm sao viết quy tắc robots.txt cho Claude?
  5. Cách làm của Anthropic so với OpenAI và Perplexity ra sao?
  6. Có nên chặn Anthropic theo địa chỉ IP không?
  7. Tại sao Claude vẫn có thể không đọc được trang của tôi?

ClaudeBot làm gì?

ClaudeBot thu thập nội dung web có thể góp phần huấn luyện các mô hình AI tạo sinh của Anthropic. Theo Anthropic, việc cấm nó báo hiệu rằng nội dung tương lai của website bạn nên bị loại khỏi các bộ dữ liệu huấn luyện.

Anthropic cũng cho biết họ tôn trọng một tín hiệu không huấn luyện AI đọc được bằng máy dựa trên một bản dự thảo của IETF, và các quy tắc nêu tên ClaudeBot trong robots.txt được ưu tiên hơn thiết lập chung đó. Như các trình thu thập dữ liệu huấn luyện khác, chặn nó là một lựa chọn chính sách.

Claude-SearchBot làm gì?

Claude-SearchBot thu thập dữ liệu web để cải thiện mức độ liên quan và độ chính xác của kết quả tìm kiếm trong Claude. Anthropic cho biết chặn nó sẽ ngăn nội dung của bạn được lập chỉ mục cho tìm kiếm, có thể làm giảm khả năng hiển thị và độ chính xác của bạn trong kết quả tìm kiếm của người dùng.

Đây là tác nhân nên cho phép nếu bạn muốn các tính năng tìm kiếm của Claude biết đến các trang của mình trước khi ai đó hỏi. Vì là trình thu thập dữ liệu tìm kiếm, nó hưởng lợi từ những điều mà trình tìm kiếm nào cũng cần: sitemap được nêu trong robots.txt, liên kết nội bộ sạch và các trang trả về nội dung ngay trong phản hồi đầu tiên.

Claude-User làm gì?

Claude-User truy cập một website khi người dùng Claude đặt câu hỏi cần đến nó, ví dụ khi ai đó chia sẻ một URL hoặc nhờ Claude tra cứu điều gì đó. Anthropic cho biết chặn nó sẽ ngăn việc truy xuất để đáp ứng truy vấn của người dùng, có thể làm giảm khả năng hiển thị của bạn trong tìm kiếm web do người dùng điều khiển.

Hãy chú ý một điểm khác với một số nhà cung cấp khác. Anthropic nêu rằng bot của họ tuân thủ chỉ thị robots.txt, và mô tả việc chặn Claude-User qua robots.txt. Ngược lại, OpenAI và Perplexity cho biết các trình tải theo yêu cầu người dùng của họ có thể không tuân theo robots.txt.

Làm sao viết quy tắc robots.txt cho Claude?

Mỗi tác nhân có token riêng, và theo RFC 9309, một nhóm nêu tên trình thu thập dữ liệu sẽ thay thế nhóm * cho trình đó. Lựa chọn phổ biến là cho phép tìm kiếm và các lượt tải theo yêu cầu người dùng, và từ chối huấn luyện:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic cũng hỗ trợ Crawl-delay như một phần mở rộng ngoài tiêu chuẩn, ví dụ Crawl-delay: 1 dưới User-agent: ClaudeBot, nếu bạn muốn làm chậm việc thu thập thay vì chặn. Quy tắc phải nằm trong robots.txt ở thư mục cấp cao nhất của từng host, nên hãy thêm chúng vào mọi tên miền phụ bạn muốn bao trùm.

Cách làm của Anthropic so với OpenAI và Perplexity ra sao?

Ba nhà cung cấp theo cùng một mô hình với tên gọi khác nhau, giúp việc nghĩ về một robots.txt chung trở nên dễ dàng. Khác biệt chính là cách mỗi bên đối xử với robots.txt đối với các lượt tải trực tiếp theo yêu cầu người dùng.

Nếu bạn viết một robots.txt cho cả ba, hãy đặt các token tìm kiếm và người dùng vào một nhóm, còn token huấn luyện vào nhóm khác. Cách đó giữ chính sách dễ đọc và cho thấy rõ lựa chọn của bạn cho từng mục đích.

Có nên chặn Anthropic theo địa chỉ IP không?

Anthropic khuyên không nên. Tài liệu của họ nói rằng chặn địa chỉ IP có thể không hoạt động đúng hoặc không đảm bảo việc từ chối lâu dài, vì nó cũng khiến trình thu thập dữ liệu không đọc được robots.txt của bạn. Hãy dùng robots.txt để nêu chính sách.

Anthropic có công bố các địa chỉ IP của trình thu thập dữ liệu tại claude.com/crawling/bots.json. Cách dùng danh sách này hữu ích là ngược với việc chặn: để tường lửa xác minh một yêu cầu tự nhận là Claude-SearchBot hay Claude-User có thật sự đến từ Anthropic, rồi cho nó đi qua.

Tại sao Claude vẫn có thể không đọc được trang của tôi?

Dù robots.txt thoải mái, tường lửa hoặc CDN của bạn vẫn có thể trả lời các tác nhân của Anthropic bằng 403 hoặc trang thử thách. Anthropic cho biết bot của họ tôn trọng các công nghệ chống lách luật và sẽ không cố vượt qua CAPTCHA, nên một trang thử thách chấm dứt lượt truy cập. Những trang có văn bản chỉ xuất hiện sau khi JavaScript chạy cũng có thể đến gần như trống rỗng.

AISeeWhy yêu cầu trang của bạn với tư cách ClaudeBot, Claude-SearchBot và Claude-User bên cạnh một trình duyệt và kiểm tra quy tắc robots.txt của bạn cho từng trình, để bạn thấy chính sách mình viết có phải chính sách mà máy chủ thực thi hay không.

Câu hỏi thường gặp

Chặn ClaudeBot có loại website của tôi khỏi câu trả lời của Claude không?

Không chỉ vì điều đó. Việc lập chỉ mục tìm kiếm và các lượt tải theo yêu cầu người dùng dùng Claude-SearchBot và Claude-User, vốn có token robots.txt riêng.

Claude-User có tuân theo robots.txt không?

Anthropic cho biết bot của họ tuân thủ robots.txt và mô tả việc chặn Claude-User ở đó, với hệ quả là Claude không thể truy xuất các trang của bạn cho câu hỏi của người dùng.

Trình thu thập dữ liệu của Anthropic có giải CAPTCHA không?

Không. Anthropic cho biết bot của họ tôn trọng các công nghệ chống lách luật và sẽ không cố vượt qua CAPTCHA.

Tôi có thể làm ClaudeBot chậm lại thay vì chặn không?

Có. Anthropic hỗ trợ Crawl-delay như một phần mở rộng ngoài tiêu chuẩn, ví dụ Crawl-delay: 1 trong nhóm ClaudeBot của robots.txt.

Làm sao xác minh một yêu cầu thật sự đến từ Anthropic?

So sánh IP nguồn với danh sách Anthropic công bố tại claude.com/crawling/bots.json. Chỉ riêng user agent thì ai cũng sao chép được.

Nguồn tham khảo

Bài viết khác