Amazonbot

Amazon · AI-trening

Amazonbot er Amazons crawler for å forbedre selskapets produkter og tjenester, og Amazon sier at dataene kan brukes til å trene Amazons AI-modeller. Den respekterer robots.txt. Amazon har egne agenter for søk, Amzn-SearchBot, og for brukerforespørsler som Alexa-spørsmål, Amzn-User, hver med sitt eget token.

Hva den gjør

Amazon sier at Amazonbot brukes til å forbedre produktene og tjenestene, og at dataene kan brukes til å trene Amazons AI-modeller. Amazon oppgir at den automatiske crawlingen respekterer Robots Exclusion Protocol, inkludert user agent-regler og allow- og disallow-regler.

Amazon mellomlagrer robots.txt i opptil 30 dager og støtter ikke Crawl-delay. Å blokkere Amazonbot dekker ikke Amzn-SearchBot eller Amzn-User, som har egne tokens.

robots.txt-token

Amazonbot

User agent-streng

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

Slik tillater du den

User-agent: Amazonbot
Allow: /

Slik blokkerer du den

User-agent: Amazonbot
Disallow: /

Slik verifiserer du ekte besøk

Amazon publiserer IP-adressene Amazonbot bruker. Sammenlign kilde-IP-en til en forespørsel med den listen; Amazon dokumenterer ingen sjekk med omvendt DNS og ber utgivere med spørsmål om å kontakte amazonbot@amazon.com.

Sjekk om nettstedet ditt slipper den inn →