Amazonbot
Amazonbot ir Amazon rāpuļprogramma tās produktu un pakalpojumu uzlabošanai, un Amazon norāda, ka tās datus var izmantot Amazon MI modeļu apmācībai. Tā ievēro robots.txt. Amazon darbina atsevišķus aģentus meklēšanai (Amzn-SearchBot) un lietotāju pieprasījumiem, piemēram, Alexa vaicājumiem (Amzn-User), katram ar savu marķieri.
Kā to atļaut
User-agent: Amazonbot
Allow: / Kā to bloķēt
User-agent: Amazonbot
Disallow: / Ko tā dara
Amazon norāda, ka Amazonbot izmanto tās produktu un pakalpojumu uzlabošanai un ka tās datus var izmantot Amazon MI modeļu apmācībai. Amazon apgalvo, ka tās automātiskā pārmeklēšana ievēro Robots Exclusion Protocol, ieskaitot user-agent un allow vai disallow noteikumus.
Amazon kešo robots.txt līdz 30 dienām un neatbalsta Crawl-delay. Amazonbot bloķēšana neattiecas uz Amzn-SearchBot vai Amzn-User, kurām ir savi marķieri.
robots.txt marķieris
Amazonbot
User-agent virkne
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Kā verificēt īstus apmeklējumus
Amazon publicē IP adreses, ko izmanto Amazonbot. Salīdziniet pieprasījuma avota IP ar šo sarakstu; Amazon nedokumentē reverse DNS pārbaudi un lūdz izdevējus ar jautājumiem rakstīt uz amazonbot@amazon.com.