meta-externalfetcher

Meta · Stažení na žádost uživatele

Meta-ExternalFetcher stahuje jednotlivé odkazy, když o to uživatel požádá, například na podporu agentní AI, která lidem pomáhá plnit úkoly na webech. Meta uvádí, že může robots.txt obejít, protože provádí stažení vyžádaná uživateli, takže spolehlivě ho zastaví jen pravidlo na firewallu.

Co dělá

Meta uvádí, že Meta-ExternalFetcher provádí stažení jednotlivých odkazů vyvolaná uživatelem na podporu funkcí produktů, například agentní AI, která uživatelům pomáhá plnit úkoly na webech. Není to obecný crawler.

Meta prohlašuje, že protože tato stažení vyžádal uživatel, Meta-ExternalFetcher může robots.txt obejít. Zablokování na firewallu způsobí, že tato stažení selžou.

Token pro robots.txt

meta-externalfetcher

Řetězec user agenta

meta-externalfetcher/1.1

Jak ho povolit

User-agent: meta-externalfetcher
Allow: /

Jak ho zablokovat

User-agent: meta-externalfetcher
Disallow: /

Jak ověřit skutečné návštěvy

Meta ve své dokumentaci crawlerů pro tento nástroj nezveřejňuje rozsahy IP ani metodu zpětného DNS, takže shoda user agenta sama o sobě nemůže dokázat, že je požadavek pravý. S dotazy ke svým crawlerům Meta odkazuje na webmasters@meta.com.

Dokumentace provozovatele

Zkontrolujte, zda ho váš web pouští →