Amazonbot
Amazonbot is de crawler van Amazon om producten en diensten te verbeteren, en Amazon zegt dat de data kan worden gebruikt om AI-modellen van Amazon te trainen. Hij respecteert robots.txt. Amazon heeft aparte agents voor zoeken, Amzn-SearchBot, en voor gebruikersverzoeken zoals Alexa-vragen, Amzn-User, elk met een eigen token.
Wat de crawler doet
Amazon zegt dat Amazonbot wordt gebruikt om producten en diensten te verbeteren, en dat de data kan worden gebruikt om AI-modellen van Amazon te trainen. Amazon stelt dat zijn automatische crawling het Robots Exclusion Protocol respecteert, inclusief user-agentregels en allow- of disallow-regels.
Amazon bewaart robots.txt tot 30 dagen in de cache en ondersteunt Crawl-delay niet. Amazonbot blokkeren dekt Amzn-SearchBot of Amzn-User niet, die eigen tokens hebben.
robots.txt-token
Amazonbot
User-agentstring
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Zo sta je hem toe
User-agent: Amazonbot
Allow: /Zo blokkeer je hem
User-agent: Amazonbot
Disallow: /Zo verifieer je echte bezoeken
Amazon publiceert de IP-adressen die Amazonbot gebruikt. Vergelijk het bron-IP van een verzoek met die lijst; Amazon beschrijft geen reverse-DNS-controle en vraagt uitgevers met vragen contact op te nemen via amazonbot@amazon.com.