Amazonbot
Amazonbot आफ्ना उत्पादन र सेवा सुधार्न Amazon को क्रलर हो, र Amazon भन्छ यसको डेटा Amazon AI मोडलको ट्रेनिङमा प्रयोग हुन सक्छ। यसले robots.txt सम्मान गर्छ। Amazon ले सर्चका लागि Amzn-SearchBot र Alexa का प्रश्न जस्ता प्रयोगकर्ताका अनुरोधका लागि Amzn-User नामका छुट्टै एजेन्ट चलाउँछ, हरेकको आफ्नै टोकनसहित।
यसलाई कसरी अनुमति दिने
User-agent: Amazonbot
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: Amazonbot
Disallow: / यसले के गर्छ
Amazon भन्छ, Amazonbot यसका उत्पादन र सेवा सुधार्न प्रयोग हुन्छ, र यसको डेटा Amazon AI मोडलको ट्रेनिङमा प्रयोग हुन सक्छ। Amazon भन्छ, यसको स्वचालित क्रलले user-agent र allow वा disallow नियमसहित Robots Exclusion Protocol सम्मान गर्छ।
Amazon ले robots.txt लाई 30 दिनसम्म cache गर्छ र Crawl-delay समर्थन गर्दैन। Amazonbot ब्लक गर्दा आफ्नै टोकन भएका Amzn-SearchBot वा Amzn-User समेटिँदैनन्।
robots.txt टोकन
Amazonbot
User-agent string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 वास्तविक भ्रमण कसरी प्रमाणित गर्ने
Amazon ले Amazonbot ले प्रयोग गर्ने IP ठेगाना प्रकाशित गर्छ। अनुरोधको स्रोत IP लाई त्यो सूचीसँग मिलाउनुहोस्; Amazon ले reverse DNS जाँच दस्तावेज गर्दैन र प्रश्न भएका प्रकाशकलाई amazonbot@amazon.com मा सम्पर्क गर्न भन्छ।