Amazonbot
Amazonbot je Amazonov pajek za izboljševanje njegovih izdelkov in storitev, Amazon pa navaja, da se njegovi podatki lahko uporabijo za učenje Amazonovih modelov UI. Upošteva robots.txt. Amazon ima ločena agenta za iskanje, Amzn-SearchBot, in za zahteve uporabnikov, kot so poizvedbe Alexa, Amzn-User, vsak s svojo oznako.
Kako ga dovoliti
User-agent: Amazonbot
Allow: / Kako ga blokirati
User-agent: Amazonbot
Disallow: / Kaj počne
Amazon navaja, da se Amazonbot uporablja za izboljševanje njegovih izdelkov in storitev ter da se njegovi podatki lahko uporabijo za učenje Amazonovih modelov UI. Amazon navaja, da njegovo samodejno pregledovanje upošteva Robots Exclusion Protocol, vključno s pravili user-agent ter allow in disallow.
Amazon robots.txt hrani v predpomnilniku do 30 dni in ne podpira Crawl-delay. Blokiranje Amazonbot ne zajema Amzn-SearchBot ali Amzn-User, ki imata lastni oznaki.
Oznaka v robots.txt
Amazonbot
Niz user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Kako preveriti prave obiske
Amazon objavlja naslove IP, ki jih uporablja Amazonbot. Izvorni IP zahteve primerjajte s tem seznamom; Amazon ne dokumentira preverjanja z obratnim DNS in založnike z vprašanji prosi, naj pišejo na amazonbot@amazon.com.