meta-externalfetcher
Meta-ExternalFetcher sťahuje jednotlivé odkazy, keď o ne požiada používateľ, napríklad na podporu agentickej AI, ktorá ľuďom pomáha dokončiť úlohy na weboch. Meta uvádza, že môže obísť robots.txt, pretože vykonáva sťahovania vyžiadané používateľmi, takže spoľahlivo ho zastaví len pravidlo firewallu.
Ako ho povoliť
User-agent: meta-externalfetcher
Allow: / Ako ho zablokovať
User-agent: meta-externalfetcher
Disallow: / Čo robí
Meta uvádza, že Meta-ExternalFetcher vykonáva sťahovania jednotlivých odkazov iniciované používateľmi na podporu funkcií produktov, napríklad agentickej AI, ktorá používateľom pomáha dokončiť úlohy na weboch. Nie je to všeobecný crawler.
Meta uvádza, že keďže tieto sťahovania vyžiadal používateľ, Meta-ExternalFetcher môže robots.txt obísť. Jeho zablokovanie vo firewalle spôsobí, že tieto sťahovania zlyhajú.
Token robots.txt
meta-externalfetcher
Reťazec user agenta
meta-externalfetcher/1.1 Ako overiť skutočné návštevy
Meta vo svojej dokumentácii crawlerov pre tento nástroj na sťahovanie nezverejňuje rozsahy IP ani metódu reverzného DNS, takže samotná zhoda user agenta nedokáže, že požiadavka je skutočná. Otázky o svojich crawleroch Meta smeruje na webmasters@meta.com.