Claude-SearchBot
Claude-SearchBot thu thập web để cải thiện độ liên quan và độ chính xác của kết quả tìm kiếm trong Claude. Anthropic cho biết chặn nó sẽ ngăn nội dung của bạn được lập chỉ mục cho tìm kiếm, có thể làm giảm khả năng hiển thị và độ chính xác trong kết quả tìm kiếm của người dùng. Hãy cho phép nó nếu bạn muốn Claude tìm và trích dẫn trang của bạn.
Chức năng
Anthropic dùng Claude-SearchBot để duyệt web và nâng cao chất lượng kết quả tìm kiếm cho người dùng Claude. Nó tách biệt với ClaudeBot, trình thu thập để huấn luyện, nên bạn có thể cho phép tìm kiếm mà vẫn từ chối huấn luyện.
Anthropic cho biết tắt Claude-SearchBot sẽ ngăn nội dung của bạn được lập chỉ mục để tối ưu tìm kiếm, có thể làm giảm khả năng hiển thị và độ chính xác của trang trong kết quả tìm kiếm của người dùng. Các bot của Anthropic tuân thủ robots.txt và tôn trọng các biện pháp chống vượt rào, nên CAPTCHA hoặc trang thử thách sẽ kết thúc lượt truy cập.
Trong nghiên cứu 2026-11 của chúng tôi, 12.9% trang web phổ biến có robots.txt đã chặn bot này. →
Token robots.txt
Claude-SearchBot
Cách cho phép
User-agent: Claude-SearchBot
Allow: /Cách chặn
User-agent: Claude-SearchBot
Disallow: /Cách xác minh lượt truy cập thật
Anthropic công bố địa chỉ IP của các trình thu thập tại claude.com/crawling/bots.json và cho biết trình thu thập có IP nằm trong danh sách đó là của Anthropic. Hãy đối chiếu IP nguồn với danh sách thay vì tin vào user agent. Anthropic khuyên không nên dùng chặn IP để từ chối, vì như vậy trình thu thập cũng không đọc được robots.txt.
Kiểm tra xem trang của bạn có cho nó vào không →
Các trình thu thập dữ liệu của Anthropic: ClaudeBot, Claude-SearchBot và Claude-User →