meta-externalfetcher
Meta-ExternalFetcher preia linkuri individuale atunci când un utilizator le cere, de exemplu pentru a susține AI agentic care îi ajută pe oameni să îndeplinească sarcini pe site-uri. Meta spune că poate ocoli robots.txt, fiindcă efectuează preluări cerute de utilizatori, deci doar o regulă de firewall îl oprește în mod sigur.
Ce face
Meta spune că Meta-ExternalFetcher efectuează preluări inițiate de utilizator ale unor linkuri individuale, pentru a susține funcții ale produselor, precum AI agentic care îi ajută pe utilizatori să îndeplinească sarcini pe site-uri. Nu este un crawler general.
Meta afirmă că, fiindcă aceste preluări au fost cerute de un utilizator, Meta-ExternalFetcher poate ocoli robots.txt. Dacă îl blochezi la firewall, aceste preluări eșuează.
Tokenul robots.txt
meta-externalfetcher
Șirul user agent
meta-externalfetcher/1.1Cum îl permiți
User-agent: meta-externalfetcher
Allow: /Cum îl blochezi
User-agent: meta-externalfetcher
Disallow: /Cum verifici vizitele reale
Meta nu publică în documentația crawlerelor sale intervale IP sau o metodă de DNS invers pentru acest agent, deci potrivirea user agent-ului singură nu poate dovedi că o cerere este autentică. Meta direcționează întrebările despre crawlerele sale către webmasters@meta.com.