Amazonbot
Amazonbot es el rastreador de Amazon para mejorar sus productos y servicios, y Amazon dice que sus datos pueden usarse para entrenar modelos de IA de Amazon. Respeta robots.txt. Amazon tiene agentes distintos para la búsqueda, Amzn-SearchBot, y para las solicitudes de usuarios, como las consultas a Alexa, Amzn-User, cada uno con su propio token.
Qué hace
Amazon dice que Amazonbot se usa para mejorar sus productos y servicios, y que sus datos pueden usarse para entrenar modelos de IA de Amazon. Amazon afirma que su rastreo automático respeta el Protocolo de exclusión de robots, incluidas las reglas de user agent y las de allow o disallow.
Amazon guarda en caché robots.txt hasta 30 días y no admite Crawl-delay. Bloquear Amazonbot no cubre Amzn-SearchBot ni Amzn-User, que tienen sus propios tokens.
Token de robots.txt
Amazonbot
Cadena de user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Cómo permitirlo
User-agent: Amazonbot
Allow: /Cómo bloquearlo
User-agent: Amazonbot
Disallow: /Cómo verificar las visitas reales
Amazon publica las direcciones IP que usa Amazonbot. Compare la IP de origen de una solicitud con esa lista; Amazon no documenta una comprobación de DNS inverso y pide a los editores con dudas que escriban a amazonbot@amazon.com.