Amazonbot
Amazonbot је Amazon краулер за побољшање његових производа и услуга, а Amazon каже да његови подаци могу да се користе за обуку Amazon AI модела. Поштује robots.txt. Amazon има засебне агенте за претрагу, Amzn-SearchBot, и за захтеве корисника као што су Alexa упити, Amzn-User, сваки са сопственим токеном.
Како да га дозволите
User-agent: Amazonbot
Allow: / Како да га блокирате
User-agent: Amazonbot
Disallow: / Шта ради
Amazon каже да се Amazonbot користи за побољшање његових производа и услуга и да његови подаци могу да се користе за обуку Amazon AI модела. Amazon наводи да његово аутоматско пописивање поштује Robots Exclusion Protocol, укључујући user-agent и правила allow или disallow.
Amazon кешира robots.txt до 30 дана и не подржава Crawl-delay. Блокирање Amazonbot-а не покрива Amzn-SearchBot ни Amzn-User, који имају сопствене токене.
robots.txt токен
Amazonbot
User-agent стринг
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Како да проверите праве посете
Amazon објављује IP адресе које Amazonbot користи. Упоредите изворни IP захтева са тим списком; Amazon не документује проверу обрнутим DNS-ом и моли издаваче са питањима да се јаве на amazonbot@amazon.com.