meta-externalfetcher
Meta-ExternalFetcher завантажує окремі посилання, коли користувач про це просить, наприклад щоб підтримувати агентний ШІ, який допомагає людям виконувати завдання на сайтах. Meta каже, що він може обходити robots.txt, бо виконує завантаження, яких запросили користувачі, тож надійно зупинити його може лише правило фаєрвола.
Що він робить
Meta каже, що Meta-ExternalFetcher виконує ініційовані користувачем завантаження окремих посилань для підтримки функцій продукту, наприклад агентного ШІ, який допомагає користувачам виконувати завдання на сайтах. Це не загальний краулер.
Meta заявляє, що, оскільки ці завантаження запросив користувач, Meta-ExternalFetcher може обходити robots.txt. Якщо заблокувати його на фаєрволі, ці завантаження не вдаватимуться.
Токен robots.txt
meta-externalfetcher
Рядок user agent
meta-externalfetcher/1.1Як його дозволити
User-agent: meta-externalfetcher
Allow: /Як його заблокувати
User-agent: meta-externalfetcher
Disallow: /Як перевірити справжні візити
Meta не публікує діапазони IP чи метод зворотного DNS для цього завантажувача у документації про свої краулери, тому збігу user agent недостатньо, щоб довести справжність запиту. З питаннями про свої краулери Meta радить звертатися на webmasters@meta.com.