meta-externalfetcher
Meta-ExternalFetcher ਉਦੋਂ ਵੱਖ-ਵੱਖ ਲਿੰਕ ਲਿਆਉਂਦਾ ਹੈ ਜਦੋਂ ਕੋਈ ਵਰਤੋਂਕਾਰ ਉਨ੍ਹਾਂ ਨੂੰ ਮੰਗਦਾ ਹੈ, ਮਿਸਾਲ ਵਜੋਂ ਅਜਿਹੀ agentic AI ਦੀ ਸਹਾਇਤਾ ਲਈ ਜੋ ਲੋਕਾਂ ਨੂੰ ਵੈੱਬਸਾਈਟਾਂ 'ਤੇ ਕੰਮ ਪੂਰੇ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ। Meta ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ robots.txt ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਸਕਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਵਰਤੋਂਕਾਰਾਂ ਦੀਆਂ ਮੰਗੀਆਂ ਬੇਨਤੀਆਂ ਪੂਰੀਆਂ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਸਿਰਫ਼ ਫਾਇਰਵਾਲ ਨਿਯਮ ਹੀ ਇਸਨੂੰ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਰੋਕਦਾ ਹੈ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: meta-externalfetcher
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: meta-externalfetcher
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
Meta ਕਹਿੰਦਾ ਹੈ ਕਿ Meta-ExternalFetcher ਉਤਪਾਦ ਫੰਕਸ਼ਨਾਂ ਦੀ ਸਹਾਇਤਾ ਲਈ ਵਰਤੋਂਕਾਰ ਵੱਲੋਂ ਸ਼ੁਰੂ ਕੀਤੇ ਵੱਖ-ਵੱਖ ਲਿੰਕਾਂ ਨੂੰ ਲਿਆਉਂਦਾ ਹੈ, ਜਿਵੇਂ ਅਜਿਹੀ agentic AI ਜੋ ਵਰਤੋਂਕਾਰਾਂ ਨੂੰ ਵੈੱਬਸਾਈਟਾਂ 'ਤੇ ਕੰਮ ਪੂਰੇ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ। ਇਹ ਆਮ ਕ੍ਰੌਲਰ ਨਹੀਂ।
Meta ਦੱਸਦਾ ਹੈ ਕਿ ਕਿਉਂਕਿ ਇਹ ਬੇਨਤੀਆਂ ਵਰਤੋਂਕਾਰ ਨੇ ਕੀਤੀਆਂ, Meta-ExternalFetcher robots.txt ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਸਕਦਾ ਹੈ। ਇਸਨੂੰ ਫਾਇਰਵਾਲ 'ਤੇ ਬਲੌਕ ਕਰਨ ਨਾਲ ਉਹ ਬੇਨਤੀਆਂ ਫੇਲ੍ਹ ਹੋ ਜਾਂਦੀਆਂ ਹਨ।
robots.txt ਟੋਕਨ
meta-externalfetcher
ਯੂਜ਼ਰ ਏਜੰਟ string
meta-externalfetcher/1.1 ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
Meta ਆਪਣੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਇਸ fetcher ਲਈ IP ਰੇਂਜਾਂ ਜਾਂ reverse DNS ਤਰੀਕਾ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦਾ, ਇਸ ਲਈ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਦਾ ਮੇਲ ਇਹ ਸਾਬਤ ਨਹੀਂ ਕਰ ਸਕਦਾ ਕਿ ਬੇਨਤੀ ਅਸਲ ਹੈ। Meta ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਬਾਰੇ ਸਵਾਲ webmasters@meta.com 'ਤੇ ਭੇਜਣ ਲਈ ਕਹਿੰਦਾ ਹੈ।