Amazonbot
Amazonbot är Amazons crawler för att förbättra företagets produkter och tjänster, och Amazon säger att dess data kan användas för att träna Amazons AI-modeller. Den följer robots.txt. Amazon har separata agenter för sök, Amzn-SearchBot, och för användarförfrågningar som Alexa-frågor, Amzn-User, var och en med egen token.
Vad den gör
Amazon säger att Amazonbot används för att förbättra företagets produkter och tjänster, och att dess data kan användas för att träna Amazons AI-modeller. Amazon uppger att den automatiska genomsökningen följer Robots Exclusion Protocol, inklusive regler för user agent samt allow och disallow.
Amazon cachar robots.txt i upp till 30 dagar och stöder inte Crawl-delay. Att blockera Amazonbot täcker inte Amzn-SearchBot eller Amzn-User, som har egna token.
robots.txt-token
Amazonbot
User agent-sträng
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Så tillåter du den
User-agent: Amazonbot
Allow: /Så blockerar du den
User-agent: Amazonbot
Disallow: /Så verifierar du riktiga besök
Amazon publicerar de IP-adresser som Amazonbot använder. Jämför en förfrågans käll-IP med den listan; Amazon dokumenterar ingen kontroll med omvänd DNS och ber utgivare med frågor att kontakta amazonbot@amazon.com.