Amazonbot
Amazonbot là trình thu thập của Amazon để cải thiện sản phẩm và dịch vụ của hãng, và Amazon cho biết dữ liệu của nó có thể được dùng để huấn luyện các mô hình AI của Amazon. Nó tuân thủ robots.txt. Amazon vận hành các tác nhân riêng cho tìm kiếm, Amzn-SearchBot, và cho yêu cầu của người dùng như truy vấn Alexa, Amzn-User, mỗi tác nhân có token riêng.
Chức năng
Amazon cho biết Amazonbot được dùng để cải thiện sản phẩm và dịch vụ của hãng, và dữ liệu của nó có thể được dùng để huấn luyện các mô hình AI của Amazon. Amazon nêu rõ việc thu thập tự động của hãng tuân thủ Robots Exclusion Protocol, gồm các quy tắc user-agent và allow hoặc disallow.
Amazon lưu đệm robots.txt tối đa 30 ngày và không hỗ trợ Crawl-delay. Chặn Amazonbot không bao gồm Amzn-SearchBot hay Amzn-User, vốn có token riêng.
Token robots.txt
Amazonbot
Chuỗi user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Cách cho phép
User-agent: Amazonbot
Allow: /Cách chặn
User-agent: Amazonbot
Disallow: /Cách xác minh lượt truy cập thật
Amazon công bố các địa chỉ IP mà Amazonbot sử dụng. Hãy đối chiếu IP nguồn của yêu cầu với danh sách đó; Amazon không mô tả cách kiểm tra DNS ngược và đề nghị các nhà xuất bản có câu hỏi liên hệ amazonbot@amazon.com.