Amazonbot
Amazonbot ni crawler ya Amazon ya kuboresha bidhaa na huduma zake, na Amazon inasema data yake inaweza kutumika kufunza modeli za AI za Amazon. Huheshimu robots.txt. Amazon inaendesha mawakala tofauti kwa utafutaji, Amzn-SearchBot, na kwa maombi ya watumiaji kama maswali ya Alexa, Amzn-User, kila mmoja akiwa na tokeni yake.
Jinsi ya kuiruhusu
User-agent: Amazonbot
Allow: / Jinsi ya kuizuia
User-agent: Amazonbot
Disallow: / Inafanya nini
Amazon inasema Amazonbot inatumika kuboresha bidhaa na huduma zake, na kwamba data yake inaweza kutumika kufunza modeli za AI za Amazon. Amazon inaeleza kwamba upitiaji wake wa kiotomatiki huheshimu Robots Exclusion Protocol, zikiwemo user-agent na sheria za allow au disallow.
Amazon huweka robots.txt kwenye cache kwa hadi siku 30 na haiungi mkono Crawl-delay. Kuzuia Amazonbot hakushughulikii Amzn-SearchBot wala Amzn-User, ambazo zina tokeni zao.
Tokeni ya robots.txt
Amazonbot
Mfuatano wa user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Jinsi ya kuthibitisha ziara halisi
Amazon inachapisha anwani za IP ambazo Amazonbot hutumia. Linganisha IP chanzo ya ombi na orodha hiyo; Amazon haielezi ukaguzi wa reverse DNS na inawaomba wachapishaji wenye maswali kuwasiliana na amazonbot@amazon.com.