Amazonbot
Amazonbot je crawler Amazon na zlepšovanie jej produktov a služieb a Amazon uvádza, že jeho dáta sa môžu použiť na trénovanie AI modelov Amazon. Rešpektuje robots.txt. Amazon prevádzkuje samostatných agentov pre vyhľadávanie, Amzn-SearchBot, a pre požiadavky používateľov, napríklad otázky na Alexu, Amzn-User, každý s vlastným tokenom.
Ako ho povoliť
User-agent: Amazonbot
Allow: / Ako ho zablokovať
User-agent: Amazonbot
Disallow: / Čo robí
Amazon uvádza, že Amazonbot sa používa na zlepšovanie jej produktov a služieb a že jeho dáta sa môžu použiť na trénovanie AI modelov Amazon. Amazon uvádza, že jej automatizované prechádzanie rešpektuje Robots Exclusion Protocol vrátane pravidiel user-agent a allow či disallow.
Amazon ukladá robots.txt do cache až na 30 dní a nepodporuje Crawl-delay. Zablokovanie Amazonbot sa nevzťahuje na Amzn-SearchBot ani Amzn-User, ktoré majú vlastné tokeny.
Token robots.txt
Amazonbot
Reťazec user agenta
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Ako overiť skutočné návštevy
Amazon zverejňuje IP adresy, ktoré Amazonbot používa. Porovnajte zdrojovú IP požiadavky s týmto zoznamom; Amazon nedokumentuje kontrolu reverzným DNS a vydavateľov s otázkami žiada, aby sa obrátili na amazonbot@amazon.com.