Amazonbot

Amazon · Обука AI модела

Amazonbot је Amazon краулер за побољшање његових производа и услуга, а Amazon каже да његови подаци могу да се користе за обуку Amazon AI модела. Поштује robots.txt. Amazon има засебне агенте за претрагу, Amzn-SearchBot, и за захтеве корисника као што су Alexa упити, Amzn-User, сваки са сопственим токеном.

Како да га дозволите

User-agent: Amazonbot
Allow: /

Како да га блокирате

User-agent: Amazonbot
Disallow: /

Шта ради

Amazon каже да се Amazonbot користи за побољшање његових производа и услуга и да његови подаци могу да се користе за обуку Amazon AI модела. Amazon наводи да његово аутоматско пописивање поштује Robots Exclusion Protocol, укључујући user-agent и правила allow или disallow.

Amazon кешира robots.txt до 30 дана и не подржава Crawl-delay. Блокирање Amazonbot-а не покрива Amzn-SearchBot ни Amzn-User, који имају сопствене токене.

robots.txt токен

Amazonbot

User-agent стринг

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

Како да проверите праве посете

Amazon објављује IP адресе које Amazonbot користи. Упоредите изворни IP захтева са тим списком; Amazon не документује проверу обрнутим DNS-ом и моли издаваче са питањима да се јаве на amazonbot@amazon.com.

Проверите да ли га ваш сајт пушта →