meta-externalfetcher
Meta · 사용자 요청 가져오기
Meta-ExternalFetcher는 사용자가 요청할 때 개별 링크를 가져옵니다. 예를 들어 사람들이 웹사이트에서 작업을 마치도록 돕는 에이전트형 AI를 지원하기 위해서입니다. Meta는 사용자가 요청한 가져오기를 수행하므로 robots.txt를 우회할 수 있다고 밝히며, 확실하게 막는 방법은 방화벽 규칙뿐입니다.
하는 일
Meta는 Meta-ExternalFetcher가 웹사이트에서 사용자가 작업을 마치도록 돕는 에이전트형 AI 같은 제품 기능을 지원하기 위해, 사용자가 시작한 개별 링크 가져오기를 수행한다고 밝힙니다. 일반 크롤러가 아닙니다.
Meta는 이런 가져오기는 사용자가 요청한 것이므로 Meta-ExternalFetcher가 robots.txt를 우회할 수 있다고 밝힙니다. 방화벽에서 차단하면 그런 가져오기는 실패합니다.
robots.txt 토큰
meta-externalfetcher
사용자 에이전트 문자열
meta-externalfetcher/1.1허용하는 방법
User-agent: meta-externalfetcher
Allow: /차단하는 방법
User-agent: meta-externalfetcher
Disallow: /실제 방문인지 확인하는 방법
Meta는 크롤러 문서에서 이 크롤러의 IP 대역이나 역방향 DNS 확인 방법을 공개하지 않으므로, 사용자 에이전트 일치만으로는 요청이 진짜임을 증명할 수 없습니다. Meta는 크롤러 관련 문의를 webmasters@meta.com으로 안내합니다.