Amazonbot
Amazon · AI 학습
Amazonbot은 제품과 서비스를 개선하기 위한 Amazon의 크롤러이며, Amazon은 이 데이터가 Amazon AI 모델 학습에 쓰일 수 있다고 밝힙니다. robots.txt를 준수합니다. Amazon은 검색용 Amzn-SearchBot과 Alexa 질문 같은 사용자 요청용 Amzn-User라는 별도 에이전트를 운영하며, 각각 고유한 토큰이 있습니다.
하는 일
Amazon은 Amazonbot이 제품과 서비스를 개선하는 데 쓰이며, 그 데이터가 Amazon AI 모델 학습에 쓰일 수 있다고 밝힙니다. Amazon은 자동 크롤링이 사용자 에이전트와 allow, disallow 규칙을 포함한 로봇 배제 표준(Robots Exclusion Protocol)을 준수한다고 밝힙니다.
Amazon은 robots.txt를 최대 30일간 캐시하며 Crawl-delay를 지원하지 않습니다. Amazonbot을 차단해도 고유한 토큰이 있는 Amzn-SearchBot과 Amzn-User에는 적용되지 않습니다.
robots.txt 토큰
Amazonbot
사용자 에이전트 문자열
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36허용하는 방법
User-agent: Amazonbot
Allow: /차단하는 방법
User-agent: Amazonbot
Disallow: /실제 방문인지 확인하는 방법
Amazon은 Amazonbot이 사용하는 IP 주소를 공개합니다. 요청의 출발지 IP를 그 목록과 대조하세요. Amazon은 역방향 DNS 확인 방법을 문서화하지 않았으며, 문의가 있는 게시자는 amazonbot@amazon.com으로 연락하도록 안내합니다.