meta-externalagent
Meta-ExternalAgent je crawler Meta na účely ako trénovanie základných AI modelov a zlepšovanie produktov priamym indexovaním obsahu. Meta uvádza, že ho môžete zablokovať zákazom v robots.txt. Vyhľadávanie Meta AI používa iný crawler, meta-webindexer, na ktorý sa toto pravidlo nevzťahuje.
Ako ho povoliť
User-agent: meta-externalagent
Allow: / Ako ho zablokovať
User-agent: meta-externalagent
Disallow: / Čo robí
Meta uvádza, že crawler Meta-ExternalAgent prechádza web na účely ako trénovanie základných AI modelov alebo zlepšovanie produktov priamym indexovaním obsahu. Meta dokumentuje jeho zablokovanie pridaním pravidla disallow pre meta-externalagent do robots.txt.
Je oddelený od meta-webindexer, ktorý Meta používa na zlepšovanie výsledkov vyhľadávania Meta AI, a od Meta-ExternalFetcher, ktorý sťahuje odkazy na žiadosť používateľa.
V našej štúdii z obdobia 2026-11 ho zablokovalo 19.5% populárnych webov s robots.txt. →
Token robots.txt
meta-externalagent
Reťazec user agenta
meta-externalagent/1.1 Ako overiť skutočné návštevy
Meta vo svojej dokumentácii crawlerov pre tento crawler nezverejňuje rozsahy IP ani metódu reverzného DNS, takže samotná zhoda user agenta nedokáže, že požiadavka je skutočná. Otázky o svojich crawleroch Meta smeruje na webmasters@meta.com.