Amazonbot
Amazonbot és el rastrejador d'Amazon per millorar els seus productes i serveis, i Amazon diu que les seves dades es poden fer servir per entrenar models d'IA d'Amazon. Respecta robots.txt. Amazon té agents separats per a la cerca, Amzn-SearchBot, i per a les peticions dels usuaris, com les consultes a Alexa, Amzn-User, cadascun amb el seu token.
Com permetre'l
User-agent: Amazonbot
Allow: / Com bloquejar-lo
User-agent: Amazonbot
Disallow: / Què fa
Amazon diu que Amazonbot serveix per millorar els seus productes i serveis i que les seves dades es poden fer servir per entrenar models d'IA d'Amazon. Amazon afirma que el seu rastreig automàtic respecta el Robots Exclusion Protocol, incloses les regles user-agent i allow o disallow.
Amazon desa robots.txt a la memòria cau fins a 30 dies i no admet Crawl-delay. Bloquejar Amazonbot no cobreix Amzn-SearchBot ni Amzn-User, que tenen els seus propis tokens.
Token de robots.txt
Amazonbot
Cadena del user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Com verificar les visites reals
Amazon publica les adreces IP que fa servir Amazonbot. Compara la IP d'origen d'una petició amb aquesta llista; Amazon no documenta cap comprovació de DNS inversa i demana als editors amb preguntes que escriguin a amazonbot@amazon.com.