meta-externalagent
Meta-ExternalAgent Meta ਦਾ ਕ੍ਰੌਲਰ ਹੈ ਜੋ foundation AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਅਤੇ ਸਮੱਗਰੀ ਨੂੰ ਸਿੱਧਾ ਇੰਡੈਕਸ ਕਰਕੇ ਉਤਪਾਦ ਸੁਧਾਰਨ ਵਰਗੇ ਕੰਮਾਂ ਲਈ ਹੈ। Meta ਕਹਿੰਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਇਸਨੂੰ robots.txt disallow ਨਾਲ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹੋ। Meta AI ਸਰਚ ਇੱਕ ਵੱਖਰਾ ਕ੍ਰੌਲਰ, meta-webindexer, ਵਰਤਦੀ ਹੈ, ਜਿਸਨੂੰ ਇਹ ਨਿਯਮ ਕਵਰ ਨਹੀਂ ਕਰਦਾ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: meta-externalagent
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: meta-externalagent
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
Meta ਕਹਿੰਦਾ ਹੈ ਕਿ Meta-ExternalAgent ਕ੍ਰੌਲਰ foundation AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ ਸਮੱਗਰੀ ਨੂੰ ਸਿੱਧਾ ਇੰਡੈਕਸ ਕਰਕੇ ਉਤਪਾਦ ਸੁਧਾਰਨ ਵਰਗੇ ਕੰਮਾਂ ਲਈ ਵੈੱਬ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ। Meta ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਲਈ robots.txt ਵਿੱਚ meta-externalagent ਲਈ disallow ਨਿਯਮ ਜੋੜਨ ਦਾ ਤਰੀਕਾ ਦੱਸਦਾ ਹੈ।
ਇਹ meta-webindexer ਤੋਂ ਵੱਖਰਾ ਹੈ, ਜਿਸਨੂੰ Meta, Meta AI ਸਰਚ ਨਤੀਜੇ ਸੁਧਾਰਨ ਲਈ ਵਰਤਦਾ ਹੈ, ਅਤੇ Meta-ExternalFetcher ਤੋਂ ਵੀ, ਜੋ ਵਰਤੋਂਕਾਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿੰਕ ਲਿਆਉਂਦਾ ਹੈ।
ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 19.5% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →
robots.txt ਟੋਕਨ
meta-externalagent
ਯੂਜ਼ਰ ਏਜੰਟ string
meta-externalagent/1.1 ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
Meta ਆਪਣੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਇਸ ਕ੍ਰੌਲਰ ਲਈ IP ਰੇਂਜਾਂ ਜਾਂ reverse DNS ਤਰੀਕਾ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦਾ, ਇਸ ਲਈ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਦਾ ਮੇਲ ਇਹ ਸਾਬਤ ਨਹੀਂ ਕਰ ਸਕਦਾ ਕਿ ਬੇਨਤੀ ਅਸਲ ਹੈ। Meta ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਬਾਰੇ ਸਵਾਲ webmasters@meta.com 'ਤੇ ਭੇਜਣ ਲਈ ਕਹਿੰਦਾ ਹੈ।
ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →
AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt: ਕਿਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ, ਕਿਸਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੈ →