meta-externalfetcher
Meta-ExternalFetcher dohvaća pojedinačne poveznice kada ih korisnik zatraži, na primjer kao podrška agentskom AI-ju koji ljudima pomaže obavljati zadatke na web-stranicama. Meta navodi da može zaobići robots.txt jer obavlja dohvaćanja koja su zatražili korisnici, pa ga pouzdano zaustavlja samo pravilo vatrozida.
Kako ga dopustiti
User-agent: meta-externalfetcher
Allow: / Kako ga blokirati
User-agent: meta-externalfetcher
Disallow: / Što radi
Meta navodi da Meta-ExternalFetcher obavlja dohvaćanja pojedinačnih poveznica koja pokreću korisnici kao podršku funkcijama proizvoda, poput agentskog AI-ja koji korisnicima pomaže obavljati zadatke na web-stranicama. Nije opći crawler.
Meta navodi da Meta-ExternalFetcher može zaobići robots.txt jer je ta dohvaćanja zatražio korisnik. Blokiranje na vatrozidu uzrokuje neuspjeh tih dohvaćanja.
Token za robots.txt
meta-externalfetcher
Niz user agenta
meta-externalfetcher/1.1 Kako provjeriti stvarne posjete
Meta u svojoj dokumentaciji o crawlerima ne objavljuje IP raspone ni metodu obrnutog DNS-a za ovaj alat za dohvaćanje, pa podudaranje user agenta samo po sebi ne može dokazati da je zahtjev stvaran. Pitanja o svojim crawlerima Meta upućuje na webmasters@meta.com.