meta-externalfetcher
Meta-ExternalFetcher pobiera pojedyncze linki, gdy użytkownik o to poprosi, na przykład by wspierać agentową AI pomagającą wykonywać zadania na stronach. Meta podaje, że może on pomijać robots.txt, ponieważ wykonuje pobrania zlecone przez użytkowników, więc niezawodnie zatrzymuje go tylko reguła zapory.
Co robi
Meta podaje, że Meta-ExternalFetcher wykonuje inicjowane przez użytkowników pobrania pojedynczych linków, aby wspierać funkcje produktów, na przykład agentową AI pomagającą użytkownikom wykonywać zadania na stronach. To nie jest ogólny crawler.
Meta twierdzi, że ponieważ te pobrania zleca użytkownik, Meta-ExternalFetcher może pomijać robots.txt. Zablokowanie go na zaporze sprawia, że te pobrania się nie udają.
Token robots.txt
meta-externalfetcher
Ciąg user agent
meta-externalfetcher/1.1Jak go dopuścić
User-agent: meta-externalfetcher
Allow: /Jak go zablokować
User-agent: meta-externalfetcher
Disallow: /Jak zweryfikować prawdziwe wizyty
Meta nie publikuje w dokumentacji crawlerów zakresów IP ani metody odwrotnego DNS dla tego fetchera, więc samo dopasowanie user agenta nie może dowieść, że żądanie jest prawdziwe. Pytania o swoje crawlery Meta kieruje na adres webmasters@meta.com.