Amazonbot
Amazonbot adalah crawler Amazon untuk meningkatkan produk dan layanannya, dan Amazon menyatakan datanya dapat dipakai untuk melatih model AI Amazon. Bot ini mematuhi robots.txt. Amazon menjalankan agen terpisah untuk pencarian, Amzn-SearchBot, dan untuk permintaan pengguna seperti pertanyaan Alexa, Amzn-User, masing-masing dengan token sendiri.
Fungsinya
Amazon menyatakan Amazonbot dipakai untuk meningkatkan produk dan layanannya, dan datanya dapat dipakai untuk melatih model AI Amazon. Amazon menyatakan crawling otomatisnya menghormati Robots Exclusion Protocol, termasuk aturan user-agent serta allow atau disallow.
Amazon menyimpan cache robots.txt hingga 30 hari dan tidak mendukung Crawl-delay. Memblokir Amazonbot tidak mencakup Amzn-SearchBot atau Amzn-User, yang memiliki token sendiri.
Token robots.txt
Amazonbot
String user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Cara mengizinkannya
User-agent: Amazonbot
Allow: /
Cara memblokirnya
User-agent: Amazonbot
Disallow: /
Cara memverifikasi kunjungan asli
Amazon mempublikasikan alamat IP yang digunakan Amazonbot. Cocokkan IP sumber permintaan dengan daftar itu; Amazon tidak mendokumentasikan pemeriksaan DNS terbalik dan meminta penerbit yang punya pertanyaan untuk menghubungi amazonbot@amazon.com.