Amazonbot
Amazonbot er Amazons crawler til forbedring af virksomhedens produkter og tjenester, og Amazon siger, at dens data kan bruges til at træne Amazons AI-modeller. Den overholder robots.txt. Amazon har separate agenter til søgning, Amzn-SearchBot, og til brugerforespørgsler som Alexa-spørgsmål, Amzn-User, hver med sit eget token.
Hvad den gør
Amazon siger, at Amazonbot bruges til at forbedre virksomhedens produkter og tjenester, og at dens data kan bruges til at træne Amazons AI-modeller. Amazon oplyser, at virksomhedens automatiske gennemgang overholder Robots Exclusion Protocol, herunder regler for user agents samt allow- og disallow-regler.
Amazon cacher robots.txt i op til 30 dage og understøtter ikke Crawl-delay. En blokering af Amazonbot dækker ikke Amzn-SearchBot eller Amzn-User, som har deres egne tokens.
robots.txt-token
Amazonbot
User agent-streng
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Sådan tillader du den
User-agent: Amazonbot
Allow: /Sådan blokerer du den
User-agent: Amazonbot
Disallow: /Sådan verificerer du ægte besøg
Amazon offentliggør de IP-adresser, Amazonbot bruger. Sammenlign forespørgslens kilde-IP med den liste; Amazon dokumenterer ikke et reverse DNS-tjek og beder udgivere med spørgsmål kontakte amazonbot@amazon.com.