Amazonbot
Amazonbot એ Amazonનો ક્રૉલર છે, જે તેનાં પ્રોડક્ટ અને સેવાઓ સુધારવા માટે છે, અને Amazon કહે છે કે તેનો ડેટા Amazonના AI મૉડલને ટ્રેન કરવા વાપરી શકાય છે. તે robots.txtનું પાલન કરે છે. Amazon સર્ચ માટે Amzn-SearchBot અને Alexaના પ્રશ્નો જેવી યુઝરની વિનંતીઓ માટે Amzn-User નામના અલગ એજન્ટ ચલાવે છે, દરેકનું પોતાનું ટોકન છે.
તેને કેવી રીતે આવવા દેવો
User-agent: Amazonbot
Allow: / તેને કેવી રીતે બ્લૉક કરવો
User-agent: Amazonbot
Disallow: / તે શું કરે છે
Amazon કહે છે કે Amazonbot તેનાં પ્રોડક્ટ અને સેવાઓ સુધારવા વપરાય છે, અને તેનો ડેટા Amazonના AI મૉડલને ટ્રેન કરવા વાપરી શકાય છે. Amazon જણાવે છે કે તેનું આપમેળે થતું ક્રૉલિંગ Robots Exclusion Protocolનું પાલન કરે છે, જેમાં user-agent અને allow કે disallow નિયમો સામેલ છે.
Amazon robots.txtને 30 દિવસ સુધી cache કરે છે અને Crawl-delayને ટેકો આપતું નથી. Amazonbotને બ્લૉક કરવાથી Amzn-SearchBot કે Amzn-User આવરી લેવાતા નથી, જેમનાં પોતાનાં ટોકન છે.
robots.txt ટોકન
Amazonbot
યુઝર-એજન્ટ સ્ટ્રિંગ
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 સાચી મુલાકાતો કેવી રીતે ચકાસવી
Amazon એ IP સરનામાં પ્રકાશિત કરે છે જે Amazonbot વાપરે છે. વિનંતીના સ્રોત IPને એ યાદી સાથે મેળવો; Amazon reverse DNS તપાસ દસ્તાવેજિત કરતું નથી અને પ્રશ્નો હોય તેવા પ્રકાશકોને amazonbot@amazon.com પર સંપર્ક કરવા કહે છે.