Amazonbot
Amazonbot คือ crawler ของ Amazon สำหรับปรับปรุงผลิตภัณฑ์และบริการของบริษัท และ Amazon ระบุว่าข้อมูลของมันอาจถูกใช้เทรนโมเดล AI ของ Amazon มันปฏิบัติตาม robots.txt Amazon มีเอเจนต์แยกสำหรับการค้นหาคือ Amzn-SearchBot และสำหรับคำขอของผู้ใช้ เช่น คำถามผ่าน Alexa คือ Amzn-User โดยแต่ละตัวมีโทเค็นของตัวเอง
ทำอะไร
Amazon ระบุว่า Amazonbot ใช้ปรับปรุงผลิตภัณฑ์และบริการของบริษัท และข้อมูลของมันอาจถูกใช้เทรนโมเดล AI ของ Amazon Amazon ระบุว่าการเก็บข้อมูลอัตโนมัติของบริษัทปฏิบัติตาม Robots Exclusion Protocol รวมถึงกฎ user-agent และกฎ allow หรือ disallow
Amazon แคช robots.txt นานสูงสุด 30 วันและไม่รองรับ Crawl-delay การบล็อก Amazonbot ไม่ครอบคลุม Amzn-SearchBot หรือ Amzn-User ซึ่งมีโทเค็นของตัวเอง
โทเค็น robots.txt
Amazonbot
สตริง user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
วิธีอนุญาต
User-agent: Amazonbot
Allow: /
วิธีบล็อก
User-agent: Amazonbot
Disallow: /
วิธีตรวจสอบการเข้าชมจริง
Amazon เผยแพร่ที่อยู่ IP ที่ Amazonbot ใช้ ให้เทียบ IP ต้นทางของคำขอกับรายการนั้น Amazon ไม่ได้ระบุการตรวจสอบด้วย reverse DNS และขอให้ผู้เผยแพร่ที่มีคำถามติดต่อ amazonbot@amazon.com