Amazonbot

Amazon · KI-Training

Amazonbot ist der Crawler von Amazon zur Verbesserung seiner Produkte und Dienste; laut Amazon können seine Daten zum Training von KI-Modellen von Amazon verwendet werden. Er beachtet die robots.txt. Amazon betreibt separate Agents für die Suche, Amzn-SearchBot, und für Nutzeranfragen wie Alexa-Fragen, Amzn-User, jeweils mit eigenem Token.

Was er tut

Laut Amazon dient Amazonbot der Verbesserung der Produkte und Dienste von Amazon, und seine Daten können zum Training von KI-Modellen von Amazon verwendet werden. Amazon erklärt, dass sein automatisches Crawling das Robots Exclusion Protocol beachtet, einschließlich der User-Agent-Regeln sowie der Allow- und Disallow-Regeln.

Amazon speichert die robots.txt bis zu 30 Tage im Cache und unterstützt Crawl-delay nicht. Das Blockieren von Amazonbot gilt nicht für Amzn-SearchBot oder Amzn-User, die eigene Tokens haben.

robots.txt-Token

Amazonbot

User-Agent-String

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

So lassen Sie ihn zu

User-agent: Amazonbot
Allow: /

So blockieren Sie ihn

User-agent: Amazonbot
Disallow: /

So prüfen Sie echte Besuche

Amazon veröffentlicht die IP-Adressen, die Amazonbot verwendet. Gleichen Sie die Quell-IP einer Anfrage mit dieser Liste ab; Amazon dokumentiert keine Reverse-DNS-Prüfung und bittet Publisher mit Fragen, amazonbot@amazon.com zu kontaktieren.

Prüfen, ob Ihre Website ihn hereinlässt →