meta-externalagent

Meta · Trénovanie AI

Meta-ExternalAgent je crawler Meta na účely ako trénovanie základných AI modelov a zlepšovanie produktov priamym indexovaním obsahu. Meta uvádza, že ho môžete zablokovať zákazom v robots.txt. Vyhľadávanie Meta AI používa iný crawler, meta-webindexer, na ktorý sa toto pravidlo nevzťahuje.

Ako ho povoliť

User-agent: meta-externalagent
Allow: /

Ako ho zablokovať

User-agent: meta-externalagent
Disallow: /

Čo robí

Meta uvádza, že crawler Meta-ExternalAgent prechádza web na účely ako trénovanie základných AI modelov alebo zlepšovanie produktov priamym indexovaním obsahu. Meta dokumentuje jeho zablokovanie pridaním pravidla disallow pre meta-externalagent do robots.txt.

Je oddelený od meta-webindexer, ktorý Meta používa na zlepšovanie výsledkov vyhľadávania Meta AI, a od Meta-ExternalFetcher, ktorý sťahuje odkazy na žiadosť používateľa.

V našej štúdii z obdobia 2026-11 ho zablokovalo 19.5% populárnych webov s robots.txt. →

Token robots.txt

meta-externalagent

Reťazec user agenta

meta-externalagent/1.1

Ako overiť skutočné návštevy

Meta vo svojej dokumentácii crawlerov pre tento crawler nezverejňuje rozsahy IP ani metódu reverzného DNS, takže samotná zhoda user agenta nedokáže, že požiadavka je skutočná. Otázky o svojich crawleroch Meta smeruje na webmasters@meta.com.

Skontrolujte, či ho váš web pustí →

robots.txt pre AI crawlery: čo povoliť a čo blokovať →