meta-externalagent
Meta-ExternalAgent הוא הסורק של Meta לשימושים כמו אימון מודלי יסוד של AI ושיפור מוצרים באמצעות אינדוקס תוכן ישירות. Meta מציינת שאפשר לחסום אותו בכלל disallow ב-robots.txt. חיפוש Meta AI משתמש בסורק אחר, meta-webindexer, שהכלל הזה אינו מכסה.
מה הוא עושה
Meta מציינת שהסורק Meta-ExternalAgent סורק את הרשת לשימושים כמו אימון מודלי יסוד של AI או שיפור מוצרים באמצעות אינדוקס תוכן ישירות. Meta מתעדת חסימה שלו על ידי הוספת כלל disallow עבור meta-externalagent ל-robots.txt.
הוא נפרד מ-meta-webindexer, ש-Meta משתמשת בו לשיפור תוצאות החיפוש של Meta AI, ומ-Meta-ExternalFetcher, שמושך קישורים לבקשת משתמש.
במחקר שלנו מ2026-11, 19.5% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
meta-externalagent
מחרוזת user agent
meta-externalagent/1.1איך לאפשר אותו
User-agent: meta-externalagent
Allow: /איך לחסום אותו
User-agent: meta-externalagent
Disallow: /איך לאמת ביקורים אמיתיים
Meta אינה מפרסמת בתיעוד הסורקים שלה טווחי IP או שיטת DNS הפוך עבור הסורק הזה, ולכן התאמה של user agent בלבד אינה יכולה להוכיח שבקשה אמיתית. Meta מפנה שאלות על הסורקים שלה אל webmasters@meta.com.