Amazonbot

Amazon · AI 訓練

Amazonbot 是 Amazon 用來改善其產品與服務的爬蟲,Amazon 表示其資料可能用於訓練 Amazon 的 AI 模型。它遵守 robots.txt。Amazon 另外為搜尋執行 Amzn-SearchBot,並為 Alexa 查詢等使用者要求執行 Amzn-User,各自有自己的標記。

它的作用

Amazon 表示,Amazonbot 用於改善其產品與服務,其資料可能用於訓練 Amazon 的 AI 模型。Amazon 表示其自動擷取遵守 Robots Exclusion Protocol,包括 user-agent 以及 allow 或 disallow 規則。

Amazon 最多會將 robots.txt 快取 30 天,且不支援 Crawl-delay。封鎖 Amazonbot 並不涵蓋 Amzn-SearchBot 或 Amzn-User,它們各有自己的標記。

robots.txt 標記

Amazonbot

User agent 字串

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

如何允許

User-agent: Amazonbot
Allow: /

如何封鎖

User-agent: Amazonbot
Disallow: /

如何驗證真實造訪

Amazon 公布了 Amazonbot 使用的 IP 位址。請將請求的來源 IP 與該清單比對;Amazon 沒有說明反向 DNS 檢查方法,並請有疑問的發布者聯絡 amazonbot@amazon.com。

檢查你的網站是否允許它進入 →