meta-externalagent
Meta-ExternalAgent خزنده Meta برای کاربردهایی مانند آموزش مدلهای پایه هوش مصنوعی و بهبود محصولات از طریق ایندکس مستقیم محتوا است. Meta میگوید میتوانید آن را با یک قانون disallow در robots.txt مسدود کنید. جستجوی Meta AI از خزنده دیگری به نام meta-webindexer استفاده میکند که این قانون آن را پوشش نمیدهد.
چطور به آن اجازه دهید
User-agent: meta-externalagent
Allow: / چطور آن را مسدود کنید
User-agent: meta-externalagent
Disallow: / چه کاری میکند
Meta میگوید خزنده Meta-ExternalAgent وب را برای کاربردهایی مانند آموزش مدلهای پایه هوش مصنوعی یا بهبود محصولات از طریق ایندکس مستقیم محتوا میخزد. Meta مسدود کردن آن را با افزودن یک قانون disallow برای meta-externalagent به robots.txt مستند کرده است.
این خزنده از meta-webindexer، که Meta برای بهبود نتایج جستجوی Meta AI به کار میبرد، و از Meta-ExternalFetcher، که لینکها را به درخواست کاربر دریافت میکند، جداست.
در پژوهش 2026-11 ما، 19.5% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
meta-externalagent
رشته user agent
meta-externalagent/1.1 چطور بازدیدهای واقعی را تأیید کنید
Meta در مستندات خزندههایش محدوده IP یا روش DNS معکوسی برای این خزنده منتشر نمیکند، پس تطبیق user agent بهتنهایی نمیتواند واقعی بودن درخواست را ثابت کند. Meta پرسشها درباره خزندههایش را به webmasters@meta.com ارجاع میدهد.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
robots.txt برای خزندههای هوش مصنوعی: چه چیزی را مجاز و چه چیزی را مسدود کنیم ←