meta-externalfetcher

Meta · Dohvaćanje na zahtjev korisnika

Meta-ExternalFetcher dohvaća pojedinačne poveznice kada ih korisnik zatraži, na primjer kao podrška agentskom AI-ju koji ljudima pomaže obavljati zadatke na web-stranicama. Meta navodi da može zaobići robots.txt jer obavlja dohvaćanja koja su zatražili korisnici, pa ga pouzdano zaustavlja samo pravilo vatrozida.

Kako ga dopustiti

User-agent: meta-externalfetcher
Allow: /

Kako ga blokirati

User-agent: meta-externalfetcher
Disallow: /

Što radi

Meta navodi da Meta-ExternalFetcher obavlja dohvaćanja pojedinačnih poveznica koja pokreću korisnici kao podršku funkcijama proizvoda, poput agentskog AI-ja koji korisnicima pomaže obavljati zadatke na web-stranicama. Nije opći crawler.

Meta navodi da Meta-ExternalFetcher može zaobići robots.txt jer je ta dohvaćanja zatražio korisnik. Blokiranje na vatrozidu uzrokuje neuspjeh tih dohvaćanja.

Token za robots.txt

meta-externalfetcher

Niz user agenta

meta-externalfetcher/1.1

Kako provjeriti stvarne posjete

Meta u svojoj dokumentaciji o crawlerima ne objavljuje IP raspone ni metodu obrnutog DNS-a za ovaj alat za dohvaćanje, pa podudaranje user agenta samo po sebi ne može dokazati da je zahtjev stvaran. Pitanja o svojim crawlerima Meta upućuje na webmasters@meta.com.

Provjerite propušta li ga vaša web-stranica →