meta-externalfetcher

Meta · Преземање на барање од корисник

Meta-ExternalFetcher презема поединечни врски кога корисник ќе побара, на пример за поддршка на агентски AI што им помага на луѓето да завршуваат задачи на сајтови. Meta вели дека може да го заобиколи robots.txt бидејќи врши преземања што ги побарале корисници, па само правило на заштитниот ѕид сигурно го запира.

Како да се дозволи

User-agent: meta-externalfetcher
Allow: /

Како да се блокира

User-agent: meta-externalfetcher
Disallow: /

Што прави

Meta вели дека Meta-ExternalFetcher врши преземања на поединечни врски иницирани од корисници за поддршка на функции на производите, како агентски AI што им помага на корисниците да завршуваат задачи на сајтови. Тоа не е општ краулер.

Meta наведува дека, бидејќи овие преземања ги побарал корисник, Meta-ExternalFetcher може да го заобиколи robots.txt. Блокирањето на заштитниот ѕид ги прави тие преземања неуспешни.

Ознака за robots.txt

meta-externalfetcher

User-agent низа

meta-externalfetcher/1.1

Како да се потврдат вистинските посети

Meta во својата документација за краулери не објавува IP опсези ниту метод со обратен DNS за овој преземач, па самото совпаѓање на user agent-от не може да докаже дека барањето е вистинско. Meta ги упатува прашањата за своите краулери на webmasters@meta.com.

Проверете дали вашиот сајт го пушта →