Perplexity ਦੇ ਕ੍ਰੌਲਰ: PerplexityBot ਅਤੇ Perplexity-User
Perplexity ਆਪਣੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਵੈੱਬਸਾਈਟਾਂ ਦਿਖਾਉਣ ਅਤੇ ਲਿੰਕ ਕਰਨ ਲਈ PerplexityBot ਵਰਤਦਾ ਹੈ, ਅਤੇ ਜਦੋਂ ਕਿਸੇ ਯੂਜ਼ਰ ਦੇ ਸਵਾਲ ਲਈ ਲੋੜ ਹੋਵੇ ਤਾਂ ਪੰਨਿਆਂ 'ਤੇ ਜਾਣ ਲਈ Perplexity-User। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ PerplexityBot robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ ਅਤੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ, ਜਦਕਿ Perplexity-User ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਪੰਨਾ ਯੂਜ਼ਰ ਨੇ ਮੰਗਿਆ ਹੁੰਦਾ ਹੈ। Perplexity ਦੀ ਸਰਚ ਨੂੰ ਤੁਹਾਡੇ ਪੰਨੇ ਵਰਤਣ ਤੋਂ ਰੋਕਣ ਲਈ robots.txt ਵਿੱਚ PerplexityBot ਨੂੰ disallow ਕਰੋ; Perplexity-User ਨੂੰ ਰੋਕਣ ਲਈ ਉਸਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਫਾਇਰਵਾਲ ਨਿਯਮ ਵਰਤੋ।
Perplexity ਹਵਾਲਿਆਂ ਦੁਆਲੇ ਬਣਿਆ ਹੈ: ਜਵਾਬ ਉਨ੍ਹਾਂ ਪੰਨਿਆਂ ਦੇ ਨੰਬਰ ਵਾਲੇ ਲਿੰਕਾਂ ਨਾਲ ਆਉਂਦੇ ਹਨ ਜਿਨ੍ਹਾਂ 'ਤੇ ਉਹ ਆਧਾਰਿਤ ਹਨ। ਇਸਦੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਛੋਟੇ ਹਨ, ਅਤੇ ਸਾਫ਼ ਦੱਸਦੇ ਹਨ ਕਿ ਕਿਹੜਾ ਏਜੰਟ robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ ਅਤੇ ਕਿਹੜਾ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਨੂੰ ਕੰਟਰੋਲ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਇਹੀ ਫ਼ਰਕ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਸਾਧਨ ਵਰਤਣਾ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
PerplexityBot ਕੀ ਕਰਦਾ ਹੈ?
PerplexityBot Perplexity ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਵੈੱਬਸਾਈਟਾਂ ਦਿਖਾਉਣ ਅਤੇ ਲਿੰਕ ਕਰਨ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ AI ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ। Perplexity ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਆਉਣ ਲਈ, Perplexity robots.txt ਵਿੱਚ PerplexityBot ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ।
Perplexity ਇਹ ਯੂਜ਼ਰ ਏਜੰਟ ਦਰਜ ਕਰਦਾ ਹੈ:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਫਾਇਰਵਾਲ ਦੇ ਨਿਯਮ PerplexityBot ਟੋਕਨ ਨਾਲ ਮੇਲ ਖਾਣੇ ਚਾਹੀਦੇ ਹਨ। Perplexity ਆਪਣੀਆਂ IP ਰੇਂਜਾਂ perplexity.ai/perplexitybot.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ।
Perplexity-User ਕੀ ਕਰਦਾ ਹੈ?
Perplexity-User ਯੂਜ਼ਰ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਕੋਈ Perplexity ਤੋਂ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ, ਤਾਂ ਇਹ ਸਹੀ ਜਵਾਬ ਦੇਣ ਵਿੱਚ ਮਦਦ ਲਈ ਕਿਸੇ ਵੈੱਬ ਪੰਨੇ 'ਤੇ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਉਸ ਪੰਨੇ ਦਾ ਲਿੰਕ ਸ਼ਾਮਲ ਕਰ ਸਕਦਾ ਹੈ। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਵੈੱਬ ਕ੍ਰੌਲ ਕਰਨ ਜਾਂ ਸਿਖਲਾਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ।
ਇਸਦਾ ਦਰਜ ਯੂਜ਼ਰ ਏਜੰਟ Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) ਹੈ, ਅਤੇ ਇਸਦੀਆਂ IP ਰੇਂਜਾਂ perplexity.ai/perplexity-user.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਹਨ।
robots.txt ਕੀ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਅਤੇ ਕੀ ਨਹੀਂ?
ਇਹੀ ਮੁੱਖ ਗੱਲ ਹੈ। Perplexity ਦੱਸਦਾ ਹੈ ਕਿ ਕਿਉਂਕਿ ਪੰਨਾ ਯੂਜ਼ਰ ਨੇ ਮੰਗਿਆ ਹੁੰਦਾ ਹੈ, Perplexity-User ਆਮ ਤੌਰ 'ਤੇ robots.txt ਦੇ ਨਿਯਮਾਂ ਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ। PerplexityBot ਲਈ robots.txt ਦਾ ਗਰੁੱਪ ਸਰਚ ਲਈ ਇੰਡੈਕਸਿੰਗ 'ਤੇ ਅਸਰ ਪਾਉਂਦਾ ਹੈ; ਇਹ ਯੂਜ਼ਰ ਵੱਲੋਂ ਹੋਣ ਵਾਲੀਆਂ ਲਾਈਵ ਬੇਨਤੀਆਂ ਨੂੰ ਭਰੋਸੇਯੋਗ ਤਰੀਕੇ ਨਾਲ ਨਹੀਂ ਰੋਕਦਾ।
- robots.txt ਵਿੱਚ
PerplexityBotਨੂੰ ਰੋਕੋ: ਤੁਹਾਡੇ ਪੰਨੇ Perplexity ਦੇ ਸਰਚ ਇੰਡੈਕਸ ਲਈ ਕ੍ਰੌਲ ਨਹੀਂ ਹੁੰਦੇ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਦਿਖਾਏ ਅਤੇ ਲਿੰਕ ਕੀਤੇ ਜਾਣ ਦੀ ਸੰਭਾਵਨਾ ਘਟ ਜਾਂਦੀ ਹੈ। - robots.txt ਵਿੱਚ
Perplexity-Userਨੂੰ ਰੋਕੋ: Perplexity ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਮੁਤਾਬਕ ਇਹ ਫੈਚਰ ਆਮ ਤੌਰ 'ਤੇ ਇਸਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਭਰੋਸੇਯੋਗ ਕੰਟਰੋਲ ਨਹੀਂ ਹੈ। - ਫਾਇਰਵਾਲ 'ਤੇ
Perplexity-Userਨੂੰ ਬਲੌਕ ਕਰੋ: ਬੇਨਤੀ ਨਾਕਾਮ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਤੁਹਾਡੇ ਪੰਨੇ ਬਾਰੇ ਪੁੱਛਣ ਵਾਲੇ ਯੂਜ਼ਰਾਂ ਨੂੰ ਉਸ ਤੋਂ ਬਿਨਾਂ ਜਵਾਬ ਮਿਲਦਾ ਹੈ। - ਦੋਵਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ: Perplexity ਤੁਹਾਡੇ ਪੰਨੇ ਇੰਡੈਕਸ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਯੂਜ਼ਰ ਦੇ ਪੁੱਛਣ 'ਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਲਾਈਵ ਪੜ੍ਹ ਸਕਦਾ ਹੈ।
Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ robots.txt ਦੀ ਹਰ ਸੈਟਿੰਗ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਦੀ ਹੈ, ਅਤੇ ਤਬਦੀਲੀਆਂ ਲਾਗੂ ਹੋਣ ਵਿੱਚ 24 ਘੰਟੇ ਤੱਕ ਲੱਗ ਸਕਦੇ ਹਨ।
Perplexity, ChatGPT ਅਤੇ Claude ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ?
ਤਿੰਨੇ ਵੈਂਡਰ ਸਰਚ ਕ੍ਰੌਲਰ ਨੂੰ ਯੂਜ਼ਰ ਦੀ ਮੰਗ 'ਤੇ ਚੱਲਣ ਵਾਲੇ ਫੈਚਰ ਤੋਂ ਵੱਖ ਰੱਖਦੇ ਹਨ। ਦੋ ਗੱਲਾਂ Perplexity ਨੂੰ ਵੱਖਰਾ ਬਣਾਉਂਦੀਆਂ ਹਨ। ਪਹਿਲੀ, ਇਹ ਵੱਖਰਾ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨਹੀਂ ਚਲਾਉਂਦਾ: ਇਹ ਕਹਿੰਦਾ ਹੈ ਕਿ PerplexityBot AI ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ, ਇਸ ਲਈ ਕੋਈ ਸਿਖਲਾਈ ਟੋਕਨ ਨਹੀਂ ਜਿਸ ਬਾਰੇ ਫ਼ੈਸਲਾ ਕਰਨਾ ਪਵੇ। ਦੂਜੀ, ਇਹ ਖੁੱਲ੍ਹ ਕੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਦਾ ਯੂਜ਼ਰ ਫੈਚਰ ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ, ਜਦਕਿ OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ChatGPT-User 'ਤੇ robots.txt ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਵੇ ਅਤੇ Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ, Claude-User ਸਮੇਤ, robots.txt ਨੂੰ ਮੰਨਦੇ ਹਨ।
ਅਮਲ ਵਿੱਚ ਇਸਦਾ ਮਤਲਬ ਹੈ Perplexity ਦੇ ਸਰਚ ਕ੍ਰੌਲਰ ਲਈ robots.txt ਵਿੱਚ ਇੱਕੋ ਫ਼ੈਸਲਾ, ਅਤੇ ਜੇ ਤੁਸੀਂ ਕਦੇ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਰੋਕਣੀਆਂ ਚਾਹੋ ਤਾਂ ਫਾਇਰਵਾਲ 'ਤੇ ਇੱਕ ਫ਼ੈਸਲਾ।
Perplexity ਲਈ ਮੈਨੂੰ ਕਿਹੜਾ robots.txt ਵਰਤਣਾ ਚਾਹੀਦਾ ਹੈ?
ਜੇ ਤੁਸੀਂ ਹਵਾਲਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਸਰਚ ਕ੍ਰੌਲਰ ਨੂੰ ਸਾਫ਼ ਤੌਰ 'ਤੇ ਇਜਾਜ਼ਤ ਦਿਓ। ਯਾਦ ਰੱਖੋ ਕਿ ਨਾਂ ਵਾਲਾ ਗਰੁੱਪ * ਤੋਂ ਨਿਯਮ ਵਿਰਸੇ ਵਿੱਚ ਨਹੀਂ ਲੈਂਦਾ, ਇਸ ਲਈ ਨਿੱਜੀ ਪਾਥ ਦੁਹਰਾਓ:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ ਕਿਉਂਕਿ PerplexityBot ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨਹੀਂ ਹੈ, ਮਾਡਲ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰਹਿਣ ਲਈ ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਉਹ ਟੀਚਾ ਪੂਰਾ ਨਹੀਂ ਹੋਵੇਗਾ, ਬੱਸ ਤੁਹਾਡੀ ਸਰਚ ਵਿੱਚ ਦਿੱਖ ਘਟੇਗੀ।
ਜੇ ਤੁਸੀਂ robots.txt ਵਿੱਚ ਸਾਈਟਮੈਪ ਦਿੰਦੇ ਹੋ, ਤਾਂ Sitemap: ਲਾਈਨ ਨੂੰ ਕਿਸੇ ਵੀ ਗਰੁੱਪ ਤੋਂ ਬਾਹਰ ਜਾਂ ਫ਼ਾਈਲ ਦੇ ਅਖੀਰ ਵਿੱਚ ਰੱਖੋ; ਇਹ ਸਾਰੇ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ। ਇਹ ਵੀ ਪੱਕਾ ਕਰੋ ਕਿ ਸਾਈਟਮੈਪ ਆਪ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਵੱਲੋਂ ਬਲੌਕ ਨਹੀਂ ਹੈ, ਕਿਉਂਕਿ ਜੋ ਕ੍ਰੌਲਰ ਇਸਨੂੰ ਲਿਆ ਨਹੀਂ ਸਕਦਾ ਉਹ ਨਵੇਂ ਜਾਂ ਬਦਲੇ ਪੰਨੇ ਲੱਭਣ ਲਈ ਇਸਨੂੰ ਵਰਤ ਨਹੀਂ ਸਕਦਾ।
ਕਿਵੇਂ ਪੱਕਾ ਕਰਾਂ ਕਿ ਫਾਇਰਵਾਲ Perplexity ਨੂੰ ਬਲੌਕ ਨਹੀਂ ਕਰਦੀ?
ਬੋਟ ਸੁਰੱਖਿਆ ਅਕਸਰ ਹਰ ਉਸ ਬੇਨਤੀ ਨੂੰ ਸ਼ੱਕੀ ਮੰਨਦੀ ਹੈ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਤੋਂ ਨਹੀਂ ਆਉਂਦੀ। ਹਰ Perplexity ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਆਪਣਾ ਪੰਨਾ ਮੰਗੋ ਅਤੇ ਜਵਾਬ ਦੀ ਤੁਲਨਾ ਬ੍ਰਾਊਜ਼ਰ ਦੀ ਬੇਨਤੀ ਨਾਲ ਕਰੋ। ਜੇ ਕ੍ਰੌਲਰ ਨੂੰ 403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਇਜਾਜ਼ਤ ਦਾ ਅਜਿਹਾ ਨਿਯਮ ਜੋੜੋ ਜੋ ਟੋਕਨ ਨਾਲ ਅਤੇ, ਹੋ ਸਕੇ ਤਾਂ, ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਮੇਲ ਖਾਵੇ, ਤਾਂ ਜੋ ਸਿਰਫ਼ ਅਸਲੀ Perplexity ਟ੍ਰੈਫ਼ਿਕ ਹੀ ਲੰਘੇ। Cloudflare ਵਿੱਚ, AI Crawl Control AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਹਰੇਕ ਲਈ Allow ਜਾਂ Block ਕਾਰਵਾਈ ਨਾਲ ਸੂਚੀਬੱਧ ਕਰਦਾ ਹੈ।
ਯੂਜ਼ਰ ਏਜੰਟ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਥਾਂ ਪੁਸ਼ਟੀ ਕਰੋ। ਕੋਈ ਵੀ ਅਜਿਹੀ ਬੇਨਤੀ ਭੇਜ ਸਕਦਾ ਹੈ ਜੋ PerplexityBot ਕਹਾਉਂਦੀ ਹੋਵੇ, ਇਸ ਲਈ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ 'ਤੇ ਆਧਾਰਿਤ ਇਜਾਜ਼ਤ ਦਾ ਨਿਯਮ ਨਕਲ ਕਰਨ ਵਾਲਿਆਂ ਨੂੰ ਵੀ ਲੰਘਾ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਇਸ 'ਤੇ ਆਧਾਰਿਤ ਬਲੌਕ ਤੋਂ ਬਚਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਸਰੋਤ IP ਨੂੰ Perplexity ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਸੂਚੀਆਂ ਨਾਲ ਮਿਲਾਉਣਾ ਦੋਵਾਂ ਕਿਸਮਾਂ ਦੇ ਨਿਯਮਾਂ ਨੂੰ ਭਰੋਸੇਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।
AISeeWhy PerplexityBot ਅਤੇ Perplexity-User ਨੂੰ 12 ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਨਾਲ ਜਾਂਚਦਾ ਹੈ। ਕਿਉਂਕਿ ਦੋਵੇਂ ਤੈਅ ਕਰਦੇ ਹਨ ਕਿ Perplexity ਤੁਹਾਡਾ ਪੰਨਾ ਜਵਾਬ ਵਿੱਚ ਵਰਤ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਕਿਸੇ ਇੱਕ ਦਾ ਵੀ ਬਲੌਕ P1 ਵਜੋਂ ਰਿਪੋਰਟ ਹੁੰਦਾ ਹੈ, ਇਸਨੂੰ ਠੀਕ ਕਰਨ ਵਾਲੇ ਨਿਯਮ ਸਮੇਤ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ Perplexity ਮੇਰੀ ਸਮੱਗਰੀ AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤਦਾ ਹੈ?
Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਨਾ PerplexityBot ਅਤੇ ਨਾ Perplexity-User AI ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।
Perplexity-User robots.txt ਨੂੰ ਅਣਡਿੱਠ ਕਿਉਂ ਕਰਦਾ ਹੈ?
Perplexity ਦੀ ਦਲੀਲ ਹੈ ਕਿ ਪੰਨਾ ਯੂਜ਼ਰ ਨੇ ਮੰਗਿਆ ਸੀ, ਇਸ ਲਈ ਇਹ ਬੇਨਤੀ ਸਵੈਚਲਿਤ ਕ੍ਰੌਲਿੰਗ ਨਹੀਂ ਸਗੋਂ ਉਸ ਯੂਜ਼ਰ ਵੱਲੋਂ ਕੀਤੀ ਕਾਰਵਾਈ ਹੈ। ਇਸਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ ਇਸੇ ਕਾਰਨ ਫੈਚਰ ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ।
ਲੋੜ ਪੈਣ 'ਤੇ ਮੈਂ Perplexity-User ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰ ਸਕਦਾ ਹਾਂ?
ਆਪਣੀ ਫਾਇਰਵਾਲ ਜਾਂ CDN ਵਰਤੋ, ਯੂਜ਼ਰ ਏਜੰਟ ਟੋਕਨ ਅਤੇ Perplexity ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਮੇਲ ਕਰਕੇ। ਇਸ ਏਜੰਟ ਲਈ robots.txt ਭਰੋਸੇਯੋਗ ਕੰਟਰੋਲ ਨਹੀਂ ਹੈ।
robots.txt ਦੀ ਤਬਦੀਲੀ ਲਾਗੂ ਹੋਣ ਵਿੱਚ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ?
Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਸਿਸਟਮਾਂ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਦਿਖਣ ਵਿੱਚ 24 ਘੰਟੇ ਤੱਕ ਲੱਗ ਸਕਦੇ ਹਨ।
ਕੀ PerplexityBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ Perplexity ਮੇਰੀ ਸਮੱਗਰੀ ਵਰਤਣੀ ਬਿਲਕੁਲ ਬੰਦ ਕਰ ਦੇਵੇਗਾ?
ਨਹੀਂ। ਇਹ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਨੂੰ Perplexity ਦੇ ਸਰਚ ਇੰਡੈਕਸ ਦੇ ਕ੍ਰੌਲ ਤੋਂ ਬਾਹਰ ਰੱਖਦਾ ਹੈ, ਪਰ ਜਦੋਂ ਕੋਈ ਯੂਜ਼ਰ ਪੰਨੇ ਬਾਰੇ ਪੁੱਛਦਾ ਹੈ ਤਾਂ Perplexity-User ਫਿਰ ਵੀ ਉਸਨੂੰ ਲਿਆ ਸਕਦਾ ਹੈ, ਕਿਉਂਕਿ ਉਹ ਫੈਚਰ ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ।
ਸਰੋਤ
- Perplexity: Perplexity ਦੇ ਕ੍ਰੌਲਰ
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI ਕ੍ਰੌਲਰਾਂ ਦਾ ਪ੍ਰਬੰਧਨ (AI Crawl Control)