Amazonbot
Amazon · AI 訓練
Amazonbot 是 Amazon 用來改善其產品與服務的爬蟲,Amazon 表示其資料可能用於訓練 Amazon 的 AI 模型。它遵守 robots.txt。Amazon 另外為搜尋執行 Amzn-SearchBot,並為 Alexa 查詢等使用者要求執行 Amzn-User,各自有自己的標記。
它的作用
Amazon 表示,Amazonbot 用於改善其產品與服務,其資料可能用於訓練 Amazon 的 AI 模型。Amazon 表示其自動擷取遵守 Robots Exclusion Protocol,包括 user-agent 以及 allow 或 disallow 規則。
Amazon 最多會將 robots.txt 快取 30 天,且不支援 Crawl-delay。封鎖 Amazonbot 並不涵蓋 Amzn-SearchBot 或 Amzn-User,它們各有自己的標記。
robots.txt 標記
Amazonbot
User agent 字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
如何允許
User-agent: Amazonbot
Allow: /
如何封鎖
User-agent: Amazonbot
Disallow: /
如何驗證真實造訪
Amazon 公布了 Amazonbot 使用的 IP 位址。請將請求的來源 IP 與該清單比對;Amazon 沒有說明反向 DNS 檢查方法,並請有疑問的發布者聯絡 amazonbot@amazon.com。