Amazonbot
Το Amazonbot είναι ο crawler της Amazon για τη βελτίωση των προϊόντων και των υπηρεσιών της, και η Amazon λέει ότι τα δεδομένα του μπορεί να χρησιμοποιηθούν για την εκπαίδευση μοντέλων AI της Amazon. Τηρεί το robots.txt. Η Amazon διατηρεί ξεχωριστούς agents για την αναζήτηση, Amzn-SearchBot, και για αιτήματα χρηστών όπως ερωτήσεις προς την Alexa, Amzn-User, ο καθένας με δικό του token.
Τι κάνει
Η Amazon λέει ότι το Amazonbot χρησιμοποιείται για τη βελτίωση των προϊόντων και των υπηρεσιών της και ότι τα δεδομένα του μπορεί να χρησιμοποιηθούν για την εκπαίδευση μοντέλων AI της Amazon. Η Amazon δηλώνει ότι η αυτόματη ανίχνευσή της τηρεί το Robots Exclusion Protocol, συμπεριλαμβανομένων των κανόνων user agent και των κανόνων allow ή disallow.
Η Amazon αποθηκεύει προσωρινά το robots.txt για έως και 30 ημέρες και δεν υποστηρίζει το Crawl-delay. Το μπλοκάρισμα του Amazonbot δεν καλύπτει τα Amzn-SearchBot ή Amzn-User, που έχουν δικά τους tokens.
Token robots.txt
Amazonbot
Συμβολοσειρά user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Πώς να το επιτρέψετε
User-agent: Amazonbot
Allow: /Πώς να το μπλοκάρετε
User-agent: Amazonbot
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η Amazon δημοσιεύει τις διευθύνσεις IP που χρησιμοποιεί το Amazonbot. Συγκρίνετε την IP προέλευσης ενός αιτήματος με αυτή τη λίστα· η Amazon δεν τεκμηριώνει έλεγχο αντίστροφου DNS και ζητά από τους εκδότες με ερωτήσεις να επικοινωνούν στο amazonbot@amazon.com.