meta-externalfetcher
Meta-ExternalFetcher-ը բեռնում է առանձին հղումներ, երբ օգտատերը խնդրում է դրանք, օրինակ՝ գործակալային AI-ին աջակցելու համար, որն օգնում է մարդկանց կայքերում առաջադրանքներ կատարել։ Meta-ն ասում է, որ այն կարող է շրջանցել robots.txt-ը, քանի որ կատարում է օգտատերերի խնդրած բեռնումներ, ուստի միայն ֆայրվոլի կանոնն է հուսալիորեն կանգնեցնում այն։
Ինչպես թույլատրել
User-agent: meta-externalfetcher
Allow: / Ինչպես արգելափակել
User-agent: meta-externalfetcher
Disallow: / Ինչ է անում
Meta-ն ասում է, որ Meta-ExternalFetcher-ը կատարում է առանձին հղումների՝ օգտատիրոջ նախաձեռնած բեռնումներ՝ արտադրանքի գործառույթներին աջակցելու համար, օրինակ՝ գործակալային AI-ին, որն օգնում է օգտատերերին կայքերում առաջադրանքներ կատարել։ Այն ընդհանուր ռոբոտ չէ։
Meta-ն նշում է, որ քանի որ այս բեռնումները խնդրել է օգտատերը, Meta-ExternalFetcher-ը կարող է շրջանցել robots.txt-ը։ Այն ֆայրվոլում արգելափակելը ձախողում է այդ բեռնումները։
robots.txt նշան
meta-externalfetcher
User-agent տող
meta-externalfetcher/1.1 Ինչպես ստուգել իրական այցելությունները
Meta-ն իր ռոբոտների փաստաթղթերում այս բեռնիչի համար IP տիրույթներ կամ հակադարձ DNS մեթոդ չի հրապարակում, ուստի միայն user agent-ի համընկնումը չի կարող ապացուցել, որ հարցումն իրական է։ Meta-ն իր ռոբոտների մասին հարցերն ուղղորդում է webmasters@meta.com հասցեին։