meta-externalagent
Meta-ExternalAgent je crawler společnosti Meta pro účely, jako je trénování základních modelů AI a vylepšování produktů přímou indexací obsahu. Meta uvádí, že ho můžete zablokovat pravidlem Disallow v robots.txt. Vyhledávání Meta AI používá jiný crawler, meta-webindexer, na který se toto pravidlo nevztahuje.
Co dělá
Meta uvádí, že crawler Meta-ExternalAgent prochází web pro účely, jako je trénování základních modelů AI nebo vylepšování produktů přímou indexací obsahu. Meta dokumentuje zablokování přidáním pravidla Disallow pro meta-externalagent do robots.txt.
Je oddělený od meta-webindexer, který Meta používá ke zlepšení výsledků vyhledávání Meta AI, i od Meta-ExternalFetcher, který stahuje odkazy na žádost uživatele.
V naší studii z období 2026-11 ho zablokovalo 19.5% oblíbených webů s robots.txt. →
Token pro robots.txt
meta-externalagent
Řetězec user agenta
meta-externalagent/1.1Jak ho povolit
User-agent: meta-externalagent
Allow: /Jak ho zablokovat
User-agent: meta-externalagent
Disallow: /Jak ověřit skutečné návštěvy
Meta ve své dokumentaci crawlerů pro tento crawler nezveřejňuje rozsahy IP ani metodu zpětného DNS, takže shoda user agenta sama o sobě nemůže dokázat, že je požadavek pravý. S dotazy ke svým crawlerům Meta odkazuje na webmasters@meta.com.