meta-externalagent
Meta · AI 학습
Meta-ExternalAgent는 AI 기반 모델 학습이나 콘텐츠를 직접 색인해 제품을 개선하는 등의 용도로 쓰이는 Meta의 크롤러입니다. Meta는 robots.txt의 disallow로 차단할 수 있다고 밝힙니다. Meta AI 검색은 다른 크롤러인 meta-webindexer를 사용하며, 이 규칙은 그 크롤러에는 적용되지 않습니다.
하는 일
Meta는 Meta-ExternalAgent 크롤러가 AI 기반 모델 학습이나 콘텐츠를 직접 색인해 제품을 개선하는 등의 용도로 웹을 크롤링한다고 밝힙니다. Meta는 robots.txt에 meta-externalagent에 대한 disallow 규칙을 추가해 차단하는 방법을 문서화합니다.
Meta AI 검색 결과를 개선하는 데 쓰는 meta-webindexer, 그리고 사용자의 요청으로 링크를 가져오는 Meta-ExternalFetcher와는 별개입니다.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 19.5%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
meta-externalagent
사용자 에이전트 문자열
meta-externalagent/1.1허용하는 방법
User-agent: meta-externalagent
Allow: /차단하는 방법
User-agent: meta-externalagent
Disallow: /실제 방문인지 확인하는 방법
Meta는 크롤러 문서에서 이 크롤러의 IP 대역이나 역방향 DNS 확인 방법을 공개하지 않으므로, 사용자 에이전트 일치만으로는 요청이 진짜임을 증명할 수 없습니다. Meta는 크롤러 관련 문의를 webmasters@meta.com으로 안내합니다.