meta-externalfetcher
Meta-ExternalFetcher загружает отдельные ссылки, когда их запрашивает пользователь, например для работы агентного AI, помогающего людям выполнять задачи на сайтах. Meta сообщает, что он может обходить robots.txt, поскольку выполняет загрузки, запрошенные пользователями, поэтому надёжно остановить его может только правило файрвола.
Что он делает
Meta сообщает, что Meta-ExternalFetcher выполняет загрузки отдельных ссылок по инициативе пользователя для работы функций продуктов, например агентного AI, который помогает пользователям выполнять задачи на сайтах. Это не универсальный краулер.
Meta заявляет, что, поскольку эти загрузки запросил пользователь, Meta-ExternalFetcher может обходить robots.txt. Если заблокировать его на файрволе, такие загрузки не удадутся.
Токен robots.txt
meta-externalfetcher
Строка user agent
meta-externalfetcher/1.1Как его разрешить
User-agent: meta-externalfetcher
Allow: /Как его заблокировать
User-agent: meta-externalfetcher
Disallow: /Как проверить настоящие визиты
В документации по краулерам Meta не публикует диапазоны IP или метод обратного DNS для этого агента, поэтому совпадение user agent само по себе не доказывает подлинность запроса. Вопросы о своих краулерах Meta просит направлять на webmasters@meta.com.