Amazonbot
Amazonbot to crawler Amazon do ulepszania jego produktów i usług, a Amazon podaje, że jego dane mogą służyć do trenowania modeli AI Amazon. Przestrzega robots.txt. Amazon ma osobne agenty do wyszukiwania, Amzn-SearchBot, i do żądań użytkowników, takich jak pytania do Alexy, Amzn-User, każdy z własnym tokenem.
Co robi
Amazon podaje, że Amazonbot służy do ulepszania jego produktów i usług, a jego dane mogą być używane do trenowania modeli AI Amazon. Amazon twierdzi, że jego automatyczne crawlowanie przestrzega Robots Exclusion Protocol, w tym reguł user agent oraz allow i disallow.
Amazon przechowuje robots.txt w pamięci podręcznej do 30 dni i nie obsługuje Crawl-delay. Zablokowanie Amazonbota nie obejmuje Amzn-SearchBot ani Amzn-User, które mają własne tokeny.
Token robots.txt
Amazonbot
Ciąg user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
Jak go dopuścić
User-agent: Amazonbot
Allow: /
Jak go zablokować
User-agent: Amazonbot
Disallow: /
Jak zweryfikować prawdziwe wizyty
Amazon publikuje adresy IP używane przez Amazonbota. Porównaj źródłowy adres IP żądania z tą listą; Amazon nie opisuje sprawdzania odwrotnym DNS i prosi wydawców z pytaniami o kontakt pod adresem amazonbot@amazon.com.