Amazonbot
Amazonbot е краулерот на Amazon за подобрување на неговите производи и услуги, а Amazon вели дека неговите податоци може да се користат за обука на AI моделите на Amazon. Го почитува robots.txt. Amazon има посебни агенти за пребарување, Amzn-SearchBot, и за барања од корисници, како прашања до Alexa, Amzn-User, секој со своја ознака.
Како да се дозволи
User-agent: Amazonbot
Allow: / Како да се блокира
User-agent: Amazonbot
Disallow: / Што прави
Amazon вели дека Amazonbot се користи за подобрување на неговите производи и услуги, и дека неговите податоци може да се користат за обука на AI моделите на Amazon. Amazon наведува дека неговото автоматско обиколување го почитува Robots Exclusion Protocol, вклучително правилата за user-agent и allow или disallow.
Amazon го кешира robots.txt до 30 дена и не го поддржува Crawl-delay. Блокирањето на Amazonbot не ги опфаќа Amzn-SearchBot и Amzn-User, кои имаат свои ознаки.
Ознака за robots.txt
Amazonbot
User-agent низа
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Како да се потврдат вистинските посети
Amazon ги објавува IP адресите што ги користи Amazonbot. Споредете ја изворната IP адреса на барањето со таа листа; Amazon не документира проверка со обратен DNS и ги замолува издавачите со прашања да се обратат на amazonbot@amazon.com.