Amazonbot
Amazon · AI 训练
Amazonbot 是 Amazon 用于改进其产品和服务的爬虫，Amazon 表示其数据可能用于训练 Amazon 的 AI 模型。它遵守 robots.txt。Amazon 为搜索运行单独的代理 Amzn-SearchBot，为 Alexa 查询等用户请求运行 Amzn-User，各有自己的标识。
它的作用
Amazon 表示，Amazonbot 用于改进其产品和服务，其数据可能用于训练 Amazon 的 AI 模型。Amazon 声明其自动抓取遵守 Robots Exclusion Protocol，包括 user-agent 以及 allow 或 disallow 规则。
Amazon 最多会将 robots.txt 缓存 30 天，且不支持 Crawl-delay。屏蔽 Amazonbot 并不涵盖 Amzn-SearchBot 或 Amzn-User，它们有各自的标识。
robots.txt 标识
Amazonbot
User agent 字符串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36如何允许
User-agent: Amazonbot
Allow: /如何屏蔽
User-agent: Amazonbot
Disallow: /如何验证真实访问
Amazon 公布了 Amazonbot 使用的 IP 地址。请将请求的来源 IP 与该列表比对；Amazon 没有说明反向 DNS 检查方法，并请有疑问的发布者联系 amazonbot@amazon.com。