Amazonbot
Amazonbot — Amazon-ның өнімдері мен қызметтерін жақсартуға арналған краулері, ал Amazon оның деректері Amazon ЖИ модельдерін оқытуға пайдаланылуы мүмкін екенін айтады. Ол robots.txt-ті сақтайды. Amazon іздеу үшін Amzn-SearchBot және Alexa сұраулары сияқты пайдаланушы сұраулары үшін Amzn-User деген бөлек агенттерді іске қосады, әрқайсысының өз токені бар.
Оны қалай өткізуге болады
User-agent: Amazonbot
Allow: / Оны қалай бұғаттауға болады
User-agent: Amazonbot
Disallow: / Ол не істейді
Amazon-ның айтуынша, Amazonbot оның өнімдері мен қызметтерін жақсарту үшін пайдаланылады, ал оның деректері Amazon ЖИ модельдерін оқытуға пайдаланылуы мүмкін. Amazon оның автоматты краулингі Robots Exclusion Protocol-ды, соның ішінде user-agent және allow не disallow ережелерін сақтайтынын мәлімдейді.
Amazon robots.txt-ті 30 күнге дейін кэштейді және Crawl-delay-ді қолдамайды. Amazonbot-ты бұғаттау өз токендері бар Amzn-SearchBot пен Amzn-User-ді қамтымайды.
robots.txt токені
Amazonbot
User-agent жолы
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36 Нақты кірулерді қалай тексеруге болады
Amazon Amazonbot пайдаланатын IP мекенжайларын жариялайды. Сұраудың бастапқы IP мекенжайын сол тізіммен салыстырыңыз; Amazon reverse DNS тексеруін сипаттамайды және сұрақтары бар жариялаушыларды amazonbot@amazon.com мекенжайына жазуды сұрайды.