meta-externalagent

Meta · Huấn luyện AI

Meta-ExternalAgent là trình thu thập của Meta cho các mục đích như huấn luyện các mô hình nền tảng AI và cải thiện sản phẩm bằng cách lập chỉ mục nội dung trực tiếp. Meta cho biết bạn có thể chặn nó bằng quy tắc disallow trong robots.txt. Tìm kiếm Meta AI dùng một trình thu thập khác là meta-webindexer, mà quy tắc này không bao gồm.

Chức năng

Meta cho biết trình thu thập Meta-ExternalAgent thu thập web cho các trường hợp như huấn luyện các mô hình nền tảng AI hoặc cải thiện sản phẩm bằng cách lập chỉ mục nội dung trực tiếp. Meta hướng dẫn chặn nó bằng cách thêm quy tắc disallow cho meta-externalagent vào robots.txt.

Nó tách biệt với meta-webindexer, được Meta dùng để cải thiện kết quả tìm kiếm Meta AI, và với Meta-ExternalFetcher, trình tải các liên kết theo yêu cầu của người dùng.

Trong nghiên cứu 2026-11 của chúng tôi, 19.5% trang web phổ biến có robots.txt đã chặn bot này. →

Token robots.txt

meta-externalagent

Chuỗi user agent

meta-externalagent/1.1

Cách cho phép

User-agent: meta-externalagent
Allow: /

Cách chặn

User-agent: meta-externalagent
Disallow: /

Cách xác minh lượt truy cập thật

Meta không công bố dải IP hay phương pháp DNS ngược cho trình thu thập này trong tài liệu về trình thu thập của mình, nên chỉ khớp user agent thì không chứng minh được yêu cầu là thật. Meta hướng dẫn gửi câu hỏi về trình thu thập của họ đến webmasters@meta.com.

Tài liệu của nhà cung cấp

Kiểm tra xem trang của bạn có cho nó vào không →

robots.txt cho trình thu thập dữ liệu AI: nên cho phép gì, chặn gì →