Amazonbot
Amazonbot je crawler společnosti Amazon pro vylepšování jejích produktů a služeb a Amazon uvádí, že jeho data mohou být použita k trénování modelů AI Amazonu. Dodržuje robots.txt. Amazon provozuje samostatné agenty pro vyhledávání, Amzn-SearchBot, a pro požadavky uživatelů, například dotazy na Alexu, Amzn-User, každého s vlastním tokenem.
Co dělá
Amazon uvádí, že Amazonbot slouží k vylepšování jeho produktů a služeb a že jeho data mohou být použita k trénování modelů AI Amazonu. Amazon prohlašuje, že jeho automatické procházení dodržuje Robots Exclusion Protocol, včetně pravidel pro user agenty a pravidel Allow a Disallow.
Amazon ukládá robots.txt do mezipaměti až na 30 dní a nepodporuje Crawl-delay. Zablokování Amazonbotu se nevztahuje na Amzn-SearchBot ani Amzn-User, které mají vlastní tokeny.
Token pro robots.txt
Amazonbot
Řetězec user agenta
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Jak ho povolit
User-agent: Amazonbot
Allow: /
Jak ho zablokovat
User-agent: Amazonbot
Disallow: /
Jak ověřit skutečné návštěvy
Amazon zveřejňuje IP adresy, které Amazonbot používá. Porovnejte zdrojovou IP požadavku s tímto seznamem; Amazon kontrolu přes zpětné DNS nedokumentuje a vydavatele s dotazy žádá, aby kontaktovali amazonbot@amazon.com.