Amazonbot
Amazonbot е ботът на Amazon за подобряване на продуктите и услугите ѝ, а Amazon казва, че данните му може да се използват за обучение на AI моделите на Amazon. Той спазва robots.txt. Amazon има отделни агенти за търсене, Amzn-SearchBot, и за заявки на потребители, като въпроси към Alexa, Amzn-User, всеки със собствен токен.
Как да го допуснете
User-agent: Amazonbot
Allow: / Как да го блокирате
User-agent: Amazonbot
Disallow: / Какво прави
Amazon казва, че Amazonbot се използва за подобряване на продуктите и услугите ѝ и че данните му може да се използват за обучение на AI моделите на Amazon. Amazon заявява, че автоматичното ѝ обхождане спазва Robots Exclusion Protocol, включително user-agent и правилата allow и disallow.
Amazon кешира robots.txt до 30 дни и не поддържа Crawl-delay. Блокирането на Amazonbot не обхваща Amzn-SearchBot или Amzn-User, които имат собствени токени.
Токен за robots.txt
Amazonbot
Низ на user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Как да проверите истинските посещения
Amazon публикува IP адресите, които използва Amazonbot. Сравнете IP адреса на източника на заявката с този списък; Amazon не документира проверка с обратен DNS и моли издателите с въпроси да пишат на amazonbot@amazon.com.