meta-externalagent
A Meta-ExternalAgent a Meta crawlere olyan célokra, mint az AI-alapmodellek tanítása és a termékek fejlesztése a tartalom közvetlen indexelésével. A Meta szerint egy robots.txt-tiltással letiltható. A Meta AI keresése másik crawlert, a meta-webindexert használja, amelyre ez a szabály nem vonatkozik.
Mit csinál
A Meta közli, hogy a Meta-ExternalAgent crawler olyan felhasználási esetekre járja be a webet, mint az AI-alapmodellek tanítása vagy a termékek fejlesztése a tartalom közvetlen indexelésével. A Meta úgy dokumentálja a letiltást, hogy a robots.txt-hez hozzáad egy meta-externalagent tiltó szabályt.
Elkülönül a meta-webindexertől, amelyet a Meta a Meta AI keresési találatainak javítására használ, és a Meta-ExternalFetchertől, amely a felhasználó kérésére tölt le hivatkozásokat.
A 2026-11 havi vizsgálatunkban a robots.txt-vel rendelkező népszerű webhelyek 19.5% letiltotta. →
robots.txt token
meta-externalagent
User-agent karakterlánc
meta-externalagent/1.1Hogyan engedélyezheti
User-agent: meta-externalagent
Allow: /Hogyan tilthatja le
User-agent: meta-externalagent
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
A Meta a crawlerdokumentációjában nem tesz közzé IP-tartományokat vagy fordított DNS-es módszert ehhez a crawlerhez, ezért a user agent egyezése önmagában nem bizonyítja, hogy egy kérés valódi. A Meta a crawlereivel kapcsolatos kérdéseket a webmasters@meta.com címre irányítja.