meta-externalfetcher

מה הוא עושה

Meta מציינת ש-Meta-ExternalFetcher מבצע משיכות של קישורים בודדים ביוזמת משתמש כדי לתמוך בפונקציות מוצר, כמו AI סוכני שעוזר למשתמשים להשלים משימות באתרים. הוא אינו סורק כללי.

Meta מצהירה שמכיוון שהמשיכות האלה התבקשו על ידי משתמש, Meta-ExternalFetcher עשוי לעקוף את robots.txt. חסימה שלו בחומת האש גורמת למשיכות האלה להיכשל.

אסימון robots.txt

meta-externalfetcher

מחרוזת user agent

meta-externalfetcher/1.1

איך לאפשר אותו

User-agent: meta-externalfetcher
Allow: /

איך לחסום אותו

User-agent: meta-externalfetcher
Disallow: /

איך לאמת ביקורים אמיתיים

Meta אינה מפרסמת בתיעוד הסורקים שלה טווחי IP או שיטת DNS הפוך עבור כלי המשיכה הזה, ולכן התאמה של user agent בלבד אינה יכולה להוכיח שבקשה אמיתית. Meta מפנה שאלות על הסורקים שלה אל webmasters@meta.com.

• תיעוד החברה

בדקו אם האתר שלכם מאפשר לו להיכנס →