meta-externalagent
Meta-ExternalAgent — краулер Meta для таких целей, как обучение базовых моделей AI и улучшение продуктов путём прямой индексации контента. Meta сообщает, что его можно заблокировать правилом disallow в robots.txt. Поиск Meta AI использует другой краулер, meta-webindexer, на который это правило не распространяется.
Что он делает
Meta сообщает, что краулер Meta-ExternalAgent обходит сеть для таких целей, как обучение базовых моделей AI или улучшение продуктов путём прямой индексации контента. Meta описывает блокировку через добавление в robots.txt правила disallow для meta-externalagent.
Он отделён от meta-webindexer, который Meta использует для улучшения результатов поиска Meta AI, и от Meta-ExternalFetcher, который загружает ссылки по запросу пользователя.
В нашем исследовании за 2026-11 19.5% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
meta-externalagent
Строка user agent
meta-externalagent/1.1Как его разрешить
User-agent: meta-externalagent
Allow: /Как его заблокировать
User-agent: meta-externalagent
Disallow: /Как проверить настоящие визиты
В документации по краулерам Meta не публикует диапазоны IP или метод обратного DNS для этого агента, поэтому совпадение user agent само по себе не доказывает подлинность запроса. Вопросы о своих краулерах Meta просит направлять на webmasters@meta.com.