meta-externalagent
Meta-ExternalAgent to crawler Meta do zastosowań takich jak trenowanie bazowych modeli AI i ulepszanie produktów przez bezpośrednie indeksowanie treści. Meta podaje, że możesz go zablokować regułą disallow w robots.txt. Wyszukiwanie Meta AI używa innego crawlera, meta-webindexer, którego ta reguła nie obejmuje.
Co robi
Meta podaje, że crawler Meta-ExternalAgent crawluje sieć do zastosowań takich jak trenowanie bazowych modeli AI lub ulepszanie produktów przez bezpośrednie indeksowanie treści. Meta opisuje blokowanie go przez dodanie do robots.txt reguły disallow dla meta-externalagent.
Jest odrębny od meta-webindexer, którego Meta używa do ulepszania wyników wyszukiwania Meta AI, oraz od Meta-ExternalFetcher, który pobiera linki na żądanie użytkownika.
W naszym badaniu z 2026-11 zablokowało go 19.5% popularnych stron z plikiem robots.txt. →
Token robots.txt
meta-externalagent
Ciąg user agent
meta-externalagent/1.1Jak go dopuścić
User-agent: meta-externalagent
Allow: /Jak go zablokować
User-agent: meta-externalagent
Disallow: /Jak zweryfikować prawdziwe wizyty
Meta nie publikuje w dokumentacji crawlerów zakresów IP ani metody odwrotnego DNS dla tego crawlera, więc samo dopasowanie user agenta nie może dowieść, że żądanie jest prawdziwe. Pytania o swoje crawlery Meta kieruje na adres webmasters@meta.com.