Amazonbot
Amazonbot خزنده Amazon برای بهبود محصولات و خدمات آن است، و Amazon میگوید دادههای آن ممکن است برای آموزش مدلهای هوش مصنوعی Amazon استفاده شوند. به robots.txt احترام میگذارد. Amazon عاملهای جداگانهای برای جستجو، Amzn-SearchBot، و برای درخواستهای کاربر مانند پرسشهای Alexa، Amzn-User، اجرا میکند که هر کدام توکن خود را دارند.
چطور به آن اجازه دهید
User-agent: Amazonbot
Allow: / چطور آن را مسدود کنید
User-agent: Amazonbot
Disallow: / چه کاری میکند
Amazon میگوید Amazonbot برای بهبود محصولات و خدماتش استفاده میشود و دادههای آن ممکن است برای آموزش مدلهای هوش مصنوعی Amazon به کار روند. Amazon اعلام میکند که خزش خودکارش به Robots Exclusion Protocol، از جمله قوانین user-agent و allow یا disallow، احترام میگذارد.
Amazon فایل robots.txt را تا 30 روز کش میکند و از Crawl-delay پشتیبانی نمیکند. مسدود کردن Amazonbot شامل Amzn-SearchBot یا Amzn-User نمیشود که توکنهای خود را دارند.
توکن robots.txt
Amazonbot
رشته user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 چطور بازدیدهای واقعی را تأیید کنید
Amazon نشانیهای IP مورد استفاده Amazonbot را منتشر میکند. IP مبدأ درخواست را با این فهرست مقایسه کنید؛ Amazon بررسی DNS معکوس را مستند نکرده و از ناشرانی که پرسشی دارند میخواهد با amazonbot@amazon.com تماس بگیرند.