Amazonbot

Amazon · Antrenare AI

Amazonbot este crawlerul Amazon pentru îmbunătățirea produselor și serviciilor sale, iar Amazon spune că datele lui pot fi folosite la antrenarea modelelor AI Amazon. Respectă robots.txt. Amazon folosește agenți separați pentru căutare, Amzn-SearchBot, și pentru cereri ale utilizatorilor, precum întrebările Alexa, Amzn-User, fiecare cu propriul token.

Ce face

Amazon spune că Amazonbot este folosit pentru a-și îmbunătăți produsele și serviciile și că datele lui pot fi folosite la antrenarea modelelor AI Amazon. Amazon afirmă că parcurgerea sa automată respectă Robots Exclusion Protocol, inclusiv regulile de user agent și regulile allow sau disallow.

Amazon păstrează robots.txt în cache până la 30 de zile și nu acceptă Crawl-delay. Blocarea lui Amazonbot nu acoperă Amzn-SearchBot sau Amzn-User, care au tokenuri proprii.

Tokenul robots.txt

Amazonbot

Șirul user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36

Cum îl permiți

User-agent: Amazonbot
Allow: /

Cum îl blochezi

User-agent: Amazonbot
Disallow: /

Cum verifici vizitele reale

Amazon publică adresele IP folosite de Amazonbot. Compară IP-ul sursă al unei cereri cu acea listă; Amazon nu documentează o verificare prin DNS invers și le cere editorilor cu întrebări să scrie la amazonbot@amazon.com.

Verifică dacă site-ul tău îl lasă să intre →