Amazonbot

Amazon · Навчання ШІ

Amazonbot — краулер Amazon для покращення її продуктів і послуг, і Amazon каже, що його дані можуть використовуватися для навчання моделей ШІ Amazon. Він дотримується robots.txt. Amazon має окремих агентів для пошуку, Amzn-SearchBot, і для запитів користувачів, як-от запити до Alexa, Amzn-User, кожен зі своїм токеном.

Що він робить

Amazon каже, що Amazonbot використовується для покращення її продуктів і послуг, а його дані можуть використовуватися для навчання моделей ШІ Amazon. Amazon заявляє, що її автоматичний обхід дотримується Robots Exclusion Protocol, зокрема правил user-agent та allow або disallow.

Amazon кешує robots.txt до 30 днів і не підтримує Crawl-delay. Блокування Amazonbot не охоплює Amzn-SearchBot і Amzn-User, які мають власні токени.

Токен robots.txt

Amazonbot

Рядок user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

Як його дозволити

User-agent: Amazonbot
Allow: /

Як його заблокувати

User-agent: Amazonbot
Disallow: /

Як перевірити справжні візити

Amazon публікує IP-адреси, які використовує Amazonbot. Порівняйте IP джерела запиту з цим списком; Amazon не описує перевірку через зворотний DNS і просить видавців із питаннями писати на amazonbot@amazon.com.

Перевірте, чи пускає його ваш сайт →