Amazonbot
Amazonbot הוא הסורק של Amazon לשיפור המוצרים והשירותים שלה, ו-Amazon מציינת שהנתונים שלו עשויים לשמש לאימון מודלי AI של Amazon. הוא מכבד את robots.txt. Amazon מפעילה סוכנים נפרדים לחיפוש, Amzn-SearchBot, ולבקשות משתמשים כמו שאילתות Alexa, Amzn-User, לכל אחד אסימון משלו.
מה הוא עושה
Amazon מציינת ש-Amazonbot משמש לשיפור המוצרים והשירותים שלה, ושהנתונים שלו עשויים לשמש לאימון מודלי AI של Amazon. Amazon מצהירה שהסריקה האוטומטית שלה מכבדת את פרוטוקול Robots Exclusion, כולל כללי user-agent וכללי allow או disallow.
Amazon שומרת את robots.txt במטמון עד 30 יום ואינה תומכת ב-Crawl-delay. חסימת Amazonbot אינה מכסה את Amzn-SearchBot או את Amzn-User, שלהם אסימונים משלהם.
אסימון robots.txt
Amazonbot
מחרוזת user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
איך לאפשר אותו
User-agent: Amazonbot
Allow: /
איך לחסום אותו
User-agent: Amazonbot
Disallow: /
איך לאמת ביקורים אמיתיים
Amazon מפרסמת את כתובות ה-IP ש-Amazonbot משתמש בהן. השוו את כתובת ה-IP של מקור הבקשה לרשימה הזו; Amazon אינה מתעדת בדיקת DNS הפוך ומבקשת מבעלי אתרים עם שאלות לפנות אל amazonbot@amazon.com.