Amazonbot

Amazon · Обучение AI

Amazonbot — краулер Amazon для улучшения её продуктов и сервисов, и Amazon сообщает, что его данные могут использоваться для обучения моделей AI Amazon. Он соблюдает robots.txt. Для поиска у Amazon отдельный агент Amzn-SearchBot, а для запросов пользователей, например к Alexa, — Amzn-User; у каждого свой токен.

Что он делает

Amazon сообщает, что Amazonbot используется для улучшения её продуктов и сервисов и что его данные могут использоваться для обучения моделей AI Amazon. Amazon заявляет, что её автоматический обход соблюдает Robots Exclusion Protocol, включая правила user agent и allow или disallow.

Amazon кэширует robots.txt до 30 дней и не поддерживает Crawl-delay. Блокировка Amazonbot не распространяется на Amzn-SearchBot и Amzn-User: у них свои токены.

Токен robots.txt

Amazonbot

Строка user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

Как его разрешить

User-agent: Amazonbot
Allow: /

Как его заблокировать

User-agent: Amazonbot
Disallow: /

Как проверить настоящие визиты

Amazon публикует IP-адреса, которые использует Amazonbot. Сверяйте исходный IP запроса с этим списком; проверку через обратный DNS Amazon не описывает и просит издателей с вопросами писать на amazonbot@amazon.com.

Проверьте, пускает ли его ваш сайт →