Amazonbot
Amazon · AI 学習
Amazonbot は、製品やサービスを改善するための Amazon のクローラーで、Amazon によると、そのデータは Amazon の AI モデルの学習に使われる場合があります。robots.txt を尊重します。Amazon は、検索用の Amzn-SearchBot と、Alexa への質問などユーザーのリクエスト用の Amzn-User という別々のエージェントを運用しており、それぞれ独自のトークンを持ちます。
役割
Amazon によると、Amazonbot は製品やサービスの改善に使われ、そのデータは Amazon の AI モデルの学習に使われる場合があります。Amazon は、自動クロールがユーザーエージェントや allow・disallow のルールを含むロボット排除プロトコルを尊重すると述べています。
Amazon は robots.txt を最大 30 日間キャッシュし、Crawl-delay には対応していません。Amazonbot をブロックしても、独自のトークンを持つ Amzn-SearchBot や Amzn-User は対象になりません。
robots.txt のトークン
Amazonbot
ユーザーエージェント文字列
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36許可する方法
User-agent: Amazonbot
Allow: /ブロックする方法
User-agent: Amazonbot
Disallow: /本物のアクセスかどうかを確認する方法
Amazon は、Amazonbot が使用する IP アドレスを公開しています。リクエストの送信元 IP をその一覧と照合してください。Amazon は逆引き DNS による確認方法を示しておらず、質問のある運営者は amazonbot@amazon.com に連絡するよう案内しています。