meta-externalfetcher

Meta · Sťahovanie na žiadosť používateľa

Meta-ExternalFetcher sťahuje jednotlivé odkazy, keď o ne požiada používateľ, napríklad na podporu agentickej AI, ktorá ľuďom pomáha dokončiť úlohy na weboch. Meta uvádza, že môže obísť robots.txt, pretože vykonáva sťahovania vyžiadané používateľmi, takže spoľahlivo ho zastaví len pravidlo firewallu.

Ako ho povoliť

User-agent: meta-externalfetcher
Allow: /

Ako ho zablokovať

User-agent: meta-externalfetcher
Disallow: /

Čo robí

Meta uvádza, že Meta-ExternalFetcher vykonáva sťahovania jednotlivých odkazov iniciované používateľmi na podporu funkcií produktov, napríklad agentickej AI, ktorá používateľom pomáha dokončiť úlohy na weboch. Nie je to všeobecný crawler.

Meta uvádza, že keďže tieto sťahovania vyžiadal používateľ, Meta-ExternalFetcher môže robots.txt obísť. Jeho zablokovanie vo firewalle spôsobí, že tieto sťahovania zlyhajú.

Token robots.txt

meta-externalfetcher

Reťazec user agenta

meta-externalfetcher/1.1

Ako overiť skutočné návštevy

Meta vo svojej dokumentácii crawlerov pre tento nástroj na sťahovanie nezverejňuje rozsahy IP ani metódu reverzného DNS, takže samotná zhoda user agenta nedokáže, že požiadavka je skutočná. Otázky o svojich crawleroch Meta smeruje na webmasters@meta.com.

Skontrolujte, či ho váš web pustí →