Amazonbot
Az Amazonbot az Amazon crawlere a termékei és szolgáltatásai fejlesztéséhez, és az Amazon szerint az adatai felhasználhatók Amazon AI-modellek tanítására. Betartja a robots.txt fájlt. Az Amazon külön ügynököket üzemeltet a keresésre (Amzn-SearchBot) és a felhasználói kérésekre, például az Alexa-lekérdezésekre (Amzn-User), mindegyiknek saját tokenje van.
Mit csinál
Az Amazon közli, hogy az Amazonbotot a termékei és szolgáltatásai fejlesztésére használja, és az adatai felhasználhatók Amazon AI-modellek tanítására. Az Amazon kijelenti, hogy az automatikus bejárása tiszteletben tartja a Robots Exclusion Protocolt, beleértve a user agentre vonatkozó, valamint az engedélyező és tiltó szabályokat.
Az Amazon a robots.txt fájlt legfeljebb 30 napig tárolja gyorsítótárban, és nem támogatja a Crawl-delay direktívát. Az Amazonbot letiltása nem terjed ki az Amzn-SearchBotra és az Amzn-Userre, amelyeknek saját tokenjük van.
robots.txt token
Amazonbot
User-agent karakterlánc
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36Hogyan engedélyezheti
User-agent: Amazonbot
Allow: /Hogyan tilthatja le
User-agent: Amazonbot
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
Az Amazon közzéteszi az Amazonbot által használt IP-címeket. Vesse össze a kérés forrás-IP-címét ezzel a listával; az Amazon nem dokumentál fordított DNS-es ellenőrzést, és a kérdéseikkel az amazonbot@amazon.com címhez irányítja a kiadókat.