meta-externalfetcher

Meta · Tải theo yêu cầu người dùng

Meta-ExternalFetcher tải từng liên kết riêng lẻ khi người dùng yêu cầu, chẳng hạn để hỗ trợ AI dạng agent giúp mọi người hoàn thành tác vụ trên các trang web. Meta cho biết nó có thể bỏ qua robots.txt vì thực hiện các lượt tải do người dùng yêu cầu, nên chỉ có quy tắc tường lửa mới chặn được nó một cách đáng tin cậy.

Chức năng

Meta cho biết Meta-ExternalFetcher thực hiện các lượt tải từng liên kết do người dùng khởi tạo để hỗ trợ chức năng sản phẩm, chẳng hạn AI dạng agent giúp người dùng hoàn thành tác vụ trên các trang web. Nó không phải trình thu thập đại trà.

Meta nêu rõ rằng vì các lượt tải này do người dùng yêu cầu, Meta-ExternalFetcher có thể bỏ qua robots.txt. Chặn nó ở tường lửa sẽ khiến các lượt tải đó thất bại.

Token robots.txt

meta-externalfetcher

Chuỗi user agent

meta-externalfetcher/1.1

Cách cho phép

User-agent: meta-externalfetcher
Allow: /

Cách chặn

User-agent: meta-externalfetcher
Disallow: /

Cách xác minh lượt truy cập thật

Meta không công bố dải IP hay phương pháp DNS ngược cho trình tải này trong tài liệu về trình thu thập của mình, nên chỉ khớp user agent thì không chứng minh được yêu cầu là thật. Meta hướng dẫn gửi câu hỏi về trình thu thập của họ đến webmasters@meta.com.

Tài liệu của nhà cung cấp

Kiểm tra xem trang của bạn có cho nó vào không →