meta-externalfetcher
Meta-ExternalFetcher recupera singoli link quando un utente lo richiede, per esempio per supportare un'AI agentica che aiuta le persone a completare attività sui siti web. Meta afferma che può ignorare il robots.txt perché esegue recuperi richiesti dagli utenti, quindi solo una regola del firewall lo ferma in modo affidabile.
Cosa fa
Meta afferma che Meta-ExternalFetcher esegue recuperi avviati dall'utente di singoli link per supportare funzioni di prodotto, come un'AI agentica che aiuta gli utenti a completare attività sui siti web. Non è un crawler generico.
Meta dichiara che, poiché questi recuperi sono stati richiesti da un utente, Meta-ExternalFetcher può ignorare il robots.txt. Bloccarlo nel firewall fa fallire quei recuperi.
Token robots.txt
meta-externalfetcher
Stringa user agent
meta-externalfetcher/1.1Come consentirlo
User-agent: meta-externalfetcher
Allow: /Come bloccarlo
User-agent: meta-externalfetcher
Disallow: /Come verificare le visite reali
Nella documentazione sui suoi crawler Meta non pubblica intervalli IP né un metodo di DNS inverso per questo crawler, quindi la sola corrispondenza dello user agent non può provare che una richiesta sia autentica. Meta indirizza le domande sui suoi crawler a webmasters@meta.com.