meta-externalagent
Meta-ExternalAgent — краулер Meta для таких цілей, як навчання базових моделей ШІ та покращення продуктів шляхом безпосередньої індексації контенту. Meta каже, що його можна заблокувати забороною в robots.txt. Пошук Meta AI використовує інший краулер, meta-webindexer, якого це правило не охоплює.
Що він робить
Meta каже, що краулер Meta-ExternalAgent обходить веб для таких випадків, як навчання базових моделей ШІ або покращення продуктів шляхом безпосередньої індексації контенту. Meta описує блокування додаванням у robots.txt правила disallow для meta-externalagent.
Він окремий від meta-webindexer, який Meta використовує для покращення результатів пошуку Meta AI, і від Meta-ExternalFetcher, який завантажує посилання на запит користувача.
У нашому дослідженні за 2026-11 його заблокували 19.5% популярних сайтів із robots.txt. →
Токен robots.txt
meta-externalagent
Рядок user agent
meta-externalagent/1.1Як його дозволити
User-agent: meta-externalagent
Allow: /Як його заблокувати
User-agent: meta-externalagent
Disallow: /Як перевірити справжні візити
Meta не публікує діапазони IP чи метод зворотного DNS для цього краулера у документації про свої краулери, тому збігу user agent недостатньо, щоб довести справжність запиту. З питаннями про свої краулери Meta радить звертатися на webmasters@meta.com.