Amazonbot
Amazonbot Amazon का क्रॉलर है, जो उसके उत्पादों और सेवाओं को बेहतर बनाने के लिए है, और Amazon के अनुसार इसके डेटा का उपयोग Amazon के AI मॉडलों की ट्रेनिंग में हो सकता है। यह robots.txt का सम्मान करता है। Amazon के अलग एजेंट हैं: सर्च के लिए Amzn-SearchBot, और Alexa क्वेरी जैसे उपयोगकर्ता अनुरोधों के लिए Amzn-User, हर एक का अपना टोकन है।
यह क्या करता है
Amazon के अनुसार Amazonbot का उपयोग उसके उत्पादों और सेवाओं को बेहतर बनाने के लिए होता है, और इसके डेटा का उपयोग Amazon के AI मॉडलों की ट्रेनिंग में हो सकता है। Amazon कहती है कि उसकी स्वचालित क्रॉलिंग Robots Exclusion Protocol का सम्मान करती है, जिसमें user-agent और allow या disallow नियम शामिल हैं।
Amazon robots.txt को 30 दिन तक कैश में रखती है और Crawl-delay का समर्थन नहीं करती। Amazonbot को ब्लॉक करने से Amzn-SearchBot या Amzn-User कवर नहीं होते, जिनके अपने टोकन हैं।
robots.txt टोकन
Amazonbot
User-agent स्ट्रिंग
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36
इसे अनुमति कैसे दें
User-agent: Amazonbot
Allow: /
इसे ब्लॉक कैसे करें
User-agent: Amazonbot
Disallow: /
असली विज़िट कैसे सत्यापित करें
Amazon, Amazonbot द्वारा उपयोग किए जाने वाले IP पते प्रकाशित करती है। अनुरोध के स्रोत IP की तुलना उस सूची से करें; Amazon रिवर्स DNS जाँच का दस्तावेज़ नहीं देती और सवाल वाले प्रकाशकों से amazonbot@amazon.com पर संपर्क करने को कहती है।