meta-externalfetcher

Meta · Преузимање на захтев корисника

Meta-ExternalFetcher преузима појединачне линкове када их корисник затражи, на пример као подршка агентском AI-ју који људима помаже да обаве задатке на сајтовима. Meta каже да може да заобиђе robots.txt јер обавља преузимања која су корисници затражили, па га поуздано зауставља само правило заштитног зида.

Како да га дозволите

User-agent: meta-externalfetcher
Allow: /

Како да га блокирате

User-agent: meta-externalfetcher
Disallow: /

Шта ради

Meta каже да Meta-ExternalFetcher обавља преузимања појединачних линкова која покреће корисник, као подршку функцијама производа, на пример агентском AI-ју који корисницима помаже да обаве задатке на сајтовима. То није општи краулер.

Meta наводи да, пошто је ова преузимања затражио корисник, Meta-ExternalFetcher може да заобиђе robots.txt. Блокирање на заштитном зиду чини да та преузимања не успеју.

robots.txt токен

meta-externalfetcher

User-agent стринг

meta-externalfetcher/1.1

Како да проверите праве посете

Meta у својој документацији о краулерима не објављује IP опсеге ни метод обрнутог DNS-а за овај преузимач, па само поклапање user agent-а не може да докаже да је захтев прави. Meta питања о својим краулерима упућује на webmasters@meta.com.

Проверите да ли га ваш сајт пушта →