meta-externalfetcher
Meta-ExternalFetcher لینکهای جداگانه را وقتی کاربر بخواهد دریافت میکند، مثلاً برای پشتیبانی از هوش مصنوعی عاملمحور که به افراد کمک میکند کارهایی را در وبسایتها انجام دهند. Meta میگوید ممکن است robots.txt را دور بزند چون دریافتهایی را انجام میدهد که کاربران درخواست کردهاند، پس فقط یک قانون فایروال بهطور مطمئن آن را متوقف میکند.
چطور به آن اجازه دهید
User-agent: meta-externalfetcher
Allow: / چطور آن را مسدود کنید
User-agent: meta-externalfetcher
Disallow: / چه کاری میکند
Meta میگوید Meta-ExternalFetcher دریافتهای آغازشده توسط کاربر از لینکهای جداگانه را برای پشتیبانی از قابلیتهای محصول انجام میدهد، مانند هوش مصنوعی عاملمحور که به کاربران کمک میکند کارهایی را در وبسایتها انجام دهند. این یک خزنده عمومی نیست.
Meta اعلام میکند که چون این دریافتها را کاربر درخواست کرده، Meta-ExternalFetcher ممکن است robots.txt را دور بزند. مسدود کردن آن در فایروال باعث شکست این دریافتها میشود.
توکن robots.txt
meta-externalfetcher
رشته user agent
meta-externalfetcher/1.1 چطور بازدیدهای واقعی را تأیید کنید
Meta در مستندات خزندههایش محدوده IP یا روش DNS معکوسی برای این دریافتکننده منتشر نمیکند، پس تطبیق user agent بهتنهایی نمیتواند واقعی بودن درخواست را ثابت کند. Meta پرسشها درباره خزندههایش را به webmasters@meta.com ارجاع میدهد.