Amazonbot
O Amazonbot é o crawler da Amazon para melhorar seus produtos e serviços, e a Amazon diz que seus dados podem ser usados para treinar modelos de IA da Amazon. Ele respeita o robots.txt. A Amazon mantém agentes separados para busca, o Amzn-SearchBot, e para pedidos de usuários, como consultas à Alexa, o Amzn-User, cada um com seu próprio token.
O que ele faz
A Amazon diz que o Amazonbot é usado para melhorar seus produtos e serviços e que seus dados podem ser usados para treinar modelos de IA da Amazon. A Amazon afirma que seu rastreamento automático respeita o Robots Exclusion Protocol, incluindo regras de user agent e de allow ou disallow.
A Amazon guarda o robots.txt em cache por até 30 dias e não aceita o Crawl-delay. Bloquear o Amazonbot não cobre o Amzn-SearchBot nem o Amzn-User, que têm tokens próprios.
Token do robots.txt
Amazonbot
String de user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Como permitir
User-agent: Amazonbot
Allow: /Como bloquear
User-agent: Amazonbot
Disallow: /Como verificar visitas reais
A Amazon publica os endereços IP que o Amazonbot usa. Compare o IP de origem de uma requisição com essa lista; a Amazon não documenta uma verificação por DNS reverso e pede que editores com dúvidas entrem em contato com amazonbot@amazon.com.