Amazonbot
Amazonbot est le robot d'Amazon pour améliorer ses produits et services, et Amazon indique que ses données peuvent servir à entraîner des modèles d'IA d'Amazon. Il respecte robots.txt. Amazon exploite des agents distincts pour la recherche, Amzn-SearchBot, et pour les requêtes d'utilisateurs comme les demandes à Alexa, Amzn-User, chacun avec son propre jeton.
Ce qu'il fait
Amazon indique qu'Amazonbot sert à améliorer ses produits et services, et que ses données peuvent servir à entraîner des modèles d'IA d'Amazon. Amazon affirme que son exploration automatique respecte le protocole d'exclusion des robots, y compris les règles de user agent et les règles allow ou disallow.
Amazon met robots.txt en cache jusqu'à 30 jours et ne prend pas en charge Crawl-delay. Bloquer Amazonbot ne couvre ni Amzn-SearchBot ni Amzn-User, qui ont chacun leur propre jeton.
Jeton robots.txt
Amazonbot
Chaîne user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Comment l'autoriser
User-agent: Amazonbot
Allow: /
Comment le bloquer
User-agent: Amazonbot
Disallow: /
Comment vérifier les visites réelles
Amazon publie les adresses IP qu'utilise Amazonbot. Comparez l'IP source d'une requête à cette liste ; Amazon ne documente pas de vérification par DNS inverse et demande aux éditeurs qui ont des questions d'écrire à amazonbot@amazon.com.