ਮੇਰੀ ਸਾਈਟ Perplexity ਵਿੱਚ ਕਿਉਂ ਨਹੀਂ ਦਿਸਦੀ?

ਲਗਭਗ 30 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪਤਾ ਕਰੋ ਕਿ PerplexityBot ਤੁਹਾਡੇ ਪੰਨੇ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਕਿਹੜੀ ਰੋਕ (robots.txt, ਫਾਇਰਵਾਲ ਜਾਂ JavaScript) ਤੁਹਾਨੂੰ ਉਸਦੇ ਜਵਾਬਾਂ ਤੋਂ ਬਾਹਰ ਰੱਖ ਰਹੀ ਹੈ।

ਮੁਫ਼ਤ · ਸਾਈਨ-ਅੱਪ ਨਹੀਂ · 30 ਸਕਿੰਟਾਂ ਵਿੱਚ ਨਤੀਜੇ

PerplexityBot ਲਈ robots.txt

PerplexityBot ਉੱਤੇ ਲਾਗੂ ਹੋਣ ਵਾਲਾ ਗਰੁੱਪ RFC 9309 ਦੇ ਨਿਯਮਾਂ ਮੁਤਾਬਕ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਫ਼ੈਸਲਾ ਕਰਨ ਵਾਲੀ ਲਾਈਨ ਦਿਖਾਈ ਜਾਂਦੀ ਹੈ।

ਫਾਇਰਵਾਲ ਅਤੇ CDN ਦੀਆਂ ਰੋਕਾਂ

403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਜੋ ਸਿਰਫ਼ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮਿਲਦਾ ਹੈ, ਨਿਸ਼ਾਨਦੇਹ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਜਵਾਬ ਦੇਣ ਵਾਲੀ ਫਾਇਰਵਾਲ ਦਾ ਨਾਮ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ।

ਪੰਨਾ ਕੀ ਵਾਪਸ ਕਰਦਾ ਹੈ

ਕ੍ਰੌਲਰ ਲਈ ਸਟੇਟਸ, ਆਕਾਰ ਅਤੇ ਰੀਡਾਇਰੈਕਟਾਂ ਦੀ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਨਾਲ ਤੁਲਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਇਸ ਲਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮਿਲਿਆ ਛੋਟਾ ਜਵਾਬ ਸਾਫ਼ ਦਿਸ ਪੈਂਦਾ ਹੈ।

ਹਰ ਨਤੀਜੇ ਲਈ ਹੱਲ

ਹਰ ਨਤੀਜੇ ਦੇ ਨਾਲ ਉਹ ਬਦਲਾਅ ਮਿਲਦਾ ਹੈ ਜੋ ਕਰਨਾ ਹੈ। ਮੁਫ਼ਤ ਜਾਂਚ ਤੁਹਾਡਾ ਸਕੋਰ ਅਤੇ ਪਹਿਲਾ ਨਤੀਜਾ ਦਿਖਾਉਂਦੀ ਹੈ; ਪੂਰੀ ਰਿਪੋਰਟ $29 ਦੀ ਹੈ, ਇੱਕ ਵਾਰ ਦੀ ਅਦਾਇਗੀ।

ਛੋਟਾ ਜਵਾਬ

Perplexity ਸਿਰਫ਼ ਉਹੀ ਪੰਨੇ ਦਿਖਾ ਅਤੇ ਲਿੰਕ ਕਰ ਸਕਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਕ੍ਰੌਲ ਕਰਨ ਦੀ PerplexityBot ਨੂੰ ਇਜਾਜ਼ਤ ਹੈ ਅਤੇ ਜੋ ਉਸਨੂੰ ਅਸਲ ਵਿੱਚ ਮਿਲਦੇ ਹਨ। ਆਮ ਕਾਰਨ ਹਨ: robots.txt ਦਾ ਕੋਈ ਨਿਯਮ ਜੋ PerplexityBot ਨੂੰ ਰੋਕਦਾ ਹੈ, ਕੋਈ ਫਾਇਰਵਾਲ ਜਾਂ CDN ਜੋ ਉਸਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਅਜਿਹਾ ਟੈਕਸਟ ਜੋ JavaScript ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਹੀ ਦਿਸਦਾ ਹੈ। ਤਿੰਨੋਂ ਜਾਂਚੋ, ਫਿਰ Perplexity ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ। ਜੇ Perplexity ਤੁਹਾਡੀ ਥਾਂ ਕਿਸੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਪਹਿਲਾਂ ਇਹ ਰੋਕਾਂ ਖ਼ਾਰਜ ਕਰੋ, ਫਿਰ ਆਪਣੇ ਪੰਨੇ ਦੀ ਤੁਲਨਾ ਉਸ ਪੰਨੇ ਨਾਲ ਕਰੋ ਜਿਸਦਾ ਉਹ ਉਸੇ ਸਵਾਲ ਲਈ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ।

3 ਕਦਮਾਂ ਵਿੱਚ ਰੋਕ ਲੱਭੋ

  1. robots.txt ਜਾਂਚੋ

    ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜਿਸ ਵਿੱਚ PerplexityBot ਦਾ ਨਾਮ ਹੈ। ਜੇ ਨਹੀਂ ਹੈ ਤਾਂ User-agent: * ਵਾਲਾ ਗਰੁੱਪ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ * ਦੀ ਥਾਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਲੈ ਲੈਂਦਾ ਹੈ।

  2. ਬ੍ਰਾਊਜ਼ਰ ਅਤੇ ਕ੍ਰੌਲਰ ਦੀ ਤੁਲਨਾ ਕਰੋ

    ਪੰਨਾ ਇੱਕ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਅਤੇ Perplexity ਦੇ ਹਰ ਏਜੰਟ ਵਜੋਂ ਮੰਗੋ। ਸਿਰਫ਼ ਏਜੰਟਾਂ ਲਈ 403, 429 ਜਾਂ 503, Just a moment... ਪੰਨਾ ਜਾਂ ਬਹੁਤ ਛੋਟਾ 200 ਫਾਇਰਵਾਲ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ।

  3. ਪੰਨੇ ਦਾ ਸੋਰਸ ਦੇਖੋ

    ਪੰਨੇ ਨੂੰ curl ਨਾਲ ਲਿਆਓ ਅਤੇ ਆਪਣੀ ਮੁੱਖ ਸਮੱਗਰੀ ਦਾ ਕੋਈ ਵਾਕ ਲੱਭੋ। ਜੇ ਉਹ ਨਹੀਂ ਮਿਲਦਾ ਤਾਂ ਸਕ੍ਰਿਪਟਾਂ ਟੈਕਸਟ ਜੋੜਦੀਆਂ ਹਨ: ਇਸਨੂੰ ਸਰਵਰ 'ਤੇ ਰੈਂਡਰ ਕਰੋ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

Perplexity ਮੇਰੀ ਥਾਂ ਮੇਰੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਿਉਂ ਕਰਦਾ ਹੈ?

Perplexity ਇਹ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦਾ ਕਿ ਉਹ ਸਰੋਤ ਕਿਵੇਂ ਚੁਣਦਾ ਹੈ, ਪਰ ਉਹ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਪੰਨਿਆਂ ਦਾ ਹਵਾਲਾ ਦੇ ਸਕਦਾ ਹੈ ਜੋ ਉਸਦੇ ਏਜੰਟ ਪੜ੍ਹ ਸਕਦੇ ਹਨ। ਪਹਿਲਾਂ ਪੱਕਾ ਕਰੋ ਕਿ PerplexityBot ਅਤੇ Perplexity-User ਨੂੰ ਤੁਹਾਡਾ ਪੰਨਾ ਮਿਲਦਾ ਹੈ। ਜੇ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਉਸੇ ਸਵਾਲ ਲਈ Perplexity ਦਾ ਹਵਾਲਾ ਦਿੱਤਾ ਪੰਨਾ ਖੋਲ੍ਹੋ ਅਤੇ ਤੁਲਨਾ ਕਰੋ: ਕੀ ਤੁਹਾਡਾ ਪੰਨਾ ਉਸੇ ਸਵਾਲ ਦਾ ਜਵਾਬ ਉੱਪਰ ਹੀ, ਤੱਥ ਟੈਕਸਟ ਵਿੱਚ ਦੱਸ ਕੇ ਦਿੰਦਾ ਹੈ? AISeeWhy ਦੀ AI ਵਿੱਚ ਦਿੱਖ ਜਾਂਚ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰਾਂ ਦੇ ਸਵਾਲ Perplexity ਅਤੇ ਤਿੰਨ ਹੋਰ ਸਹਾਇਕਾਂ ਵਿੱਚ ਪੁੱਛਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਨਾਲ ਕਿਹੜੇ ਮੁਕਾਬਲੇਬਾਜ਼ਾਂ ਦੇ ਨਾਮ ਆਉਂਦੇ ਹਨ।

ਕੀ Perplexity ਮੇਰੀ ਸਮੱਗਰੀ 'ਤੇ ਆਪਣੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ?

Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ PerplexityBot AI ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਨ ਵਾਸਤੇ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ ਅਤੇ Perplexity-User ਸਿਖਲਾਈ ਲਈ ਸਮੱਗਰੀ ਇਕੱਠੀ ਨਹੀਂ ਕਰਦਾ। ਇਸ ਲਈ PerplexityBot ਨੂੰ ਰੋਕਣਾ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਹੋਣ ਦਾ ਤਰੀਕਾ ਨਹੀਂ ਹੈ; ਇਹ ਸਿਰਫ਼ Perplexity ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਘਟਾਉਂਦਾ ਹੈ।

robots.txt ਠੀਕ ਕਰਨ ਤੋਂ ਕਿੰਨੀ ਦੇਰ ਬਾਅਦ Perplexity ਨੂੰ ਪਤਾ ਲੱਗੇਗਾ?

Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਸਿਸਟਮਾਂ ਵਿੱਚ robots.txt ਦੇ ਬਦਲਾਅ ਲਾਗੂ ਹੋਣ ਵਿੱਚ 24 ਘੰਟੇ ਤੱਕ ਲੱਗ ਸਕਦੇ ਹਨ। ਫਾਇਰਵਾਲ ਦੇ ਬਦਲਾਅ ਉਦੋਂ ਲਾਗੂ ਹੁੰਦੇ ਹਨ ਜਦੋਂ ਤੁਹਾਡਾ ਪ੍ਰਦਾਤਾ ਉਨ੍ਹਾਂ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਪਰ ਨਤੀਜਾ ਪਰਖਣ ਤੋਂ ਪਹਿਲਾਂ ਕ੍ਰੌਲਰ ਨੂੰ ਵਾਪਸ ਆਉਣ ਦਾ ਸਮਾਂ ਦਿਓ।

ਕੀ ਮੈਂ robots.txt ਨਾਲ Perplexity-User ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦਾ ਹਾਂ?

ਭਰੋਸੇਯੋਗ ਤਰੀਕੇ ਨਾਲ ਨਹੀਂ। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ fetcher ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਬੇਨਤੀ ਕਿਸੇ ਯੂਜ਼ਰ ਨੇ ਕੀਤੀ ਸੀ। ਜੇ ਤੁਹਾਨੂੰ ਇਸਨੂੰ ਰੋਕਣਾ ਹੈ, ਤਾਂ ਉਸਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਫਾਇਰਵਾਲ ਨਿਯਮ ਭਰੋਸੇਯੋਗ ਕੰਟਰੋਲ ਹੈ।

ਕੀ Perplexity ਦਾ ਟ੍ਰੈਫਿਕ ਪਛਾਣਨ ਲਈ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਜਾਂਚ ਕਾਫ਼ੀ ਹੈ?

ਨਹੀਂ। ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਨਕਲ ਕਰਨਾ ਆਸਾਨ ਹੈ। ਸਰੋਤ IP ਦੀ ਤੁਲਨਾ ਉਨ੍ਹਾਂ ਰੇਂਜਾਂ ਨਾਲ ਕਰੋ ਜੋ Perplexity perplexitybot.json ਅਤੇ perplexity-user.json ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਫਾਇਰਵਾਲ ਨਿਯਮਾਂ ਵਿੱਚ ਯੂਜ਼ਰ ਏਜੰਟ ਅਤੇ IP ਦੋਵਾਂ ਦਾ ਮੇਲ ਕਰੋ।

ਪੂਰੀ ਗਾਈਡ ਪੜ੍ਹੋ

ਤੁਸੀਂ Perplexity ਤੋਂ ਆਪਣੇ ਉਤਪਾਦ ਬਾਰੇ ਪੁੱਛਦੇ ਹੋ, ਅਤੇ ਉਹ ਕਿਸੇ ਮੁਕਾਬਲੇਬਾਜ਼, ਕਿਸੇ ਰਿਵਿਊ ਸਾਈਟ ਜਾਂ ਕਿਸੇ ਫੋਰਮ ਥ੍ਰੈੱਡ ਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ, ਪਰ ਤੁਹਾਡੇ ਆਪਣੇ ਪੰਨਿਆਂ ਦਾ ਕਦੇ ਨਹੀਂ। ਕਦੇ-ਕਦੇ ਇਹ ਪ੍ਰਸੰਗਿਕਤਾ ਦਾ ਸਵਾਲ ਹੁੰਦਾ ਹੈ। ਅਕਸਰ ਇਹ ਕੋਈ ਤਕਨੀਕੀ ਰੁਕਾਵਟ ਹੁੰਦੀ ਹੈ ਜੋ ਤੁਸੀਂ ਕੁਝ ਮਿੰਟਾਂ ਵਿੱਚ ਲੱਭ ਸਕਦੇ ਹੋ। Perplexity ਦੱਸਦਾ ਹੈ ਕਿ ਉਹ ਕਿਹੜੇ ਏਜੰਟ ਵਰਤਦਾ ਹੈ, ਹਰ ਏਜੰਟ ਕੀ ਕਰਦਾ ਹੈ ਅਤੇ ਉਸਦਾ ਟ੍ਰੈਫਿਕ ਕਿੱਥੋਂ ਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਲੜੀ ਦੀ ਹਰ ਕੜੀ ਜਾਂਚੀ ਜਾ ਸਕਦੀ ਹੈ: robots.txt, ਤੁਹਾਡੇ ਸਰਵਰ ਦਾ ਭੇਜਿਆ ਜਵਾਬ, ਅਤੇ ਉਸ ਜਵਾਬ ਵਿੱਚ ਕੀ ਹੈ।

Perplexity ਪੰਨੇ ਕਿਵੇਂ ਲੱਭਦਾ ਅਤੇ ਪੜ੍ਹਦਾ ਹੈ?

Perplexity ਦੋ ਏਜੰਟਾਂ ਦਾ ਵੇਰਵਾ ਦਿੰਦਾ ਹੈ। ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਵੱਖਰੇ ਹਨ, ਅਤੇ ਕਿਸੇ ਵੀ ਇੱਕ ਨਾਲ ਸਮੱਸਿਆ ਤੁਹਾਡੇ ਪੰਨੇ ਨੂੰ ਜਵਾਬ ਤੋਂ ਬਾਹਰ ਰੱਖ ਸਕਦੀ ਹੈ।

  • PerplexityBot Perplexity ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਵੈੱਬਸਾਈਟਾਂ ਦਿਖਾਉਣ ਅਤੇ ਲਿੰਕ ਕਰਨ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਜੇ ਤੁਸੀਂ ਉੱਥੇ ਦਿਸਣਾ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ Perplexity ਇਸਨੂੰ robots.txt ਵਿੱਚ ਇਜਾਜ਼ਤ ਦੇਣ ਦੀ ਸਲਾਹ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ AI ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਨ ਵਾਸਤੇ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ।
  • Perplexity-User ਯੂਜ਼ਰ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਕੋਈ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ, ਤਾਂ ਇਹ ਜਵਾਬ ਦੇਣ ਵਿੱਚ ਮਦਦ ਲਈ ਕਿਸੇ ਪੰਨੇ 'ਤੇ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਉਸ ਪੰਨੇ ਦਾ ਲਿੰਕ ਦੇ ਸਕਦਾ ਹੈ। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਵੈੱਬ ਕ੍ਰੌਲਿੰਗ ਜਾਂ ਸਿਖਲਾਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ।

ਅਮਲ ਵਿੱਚ, PerplexityBot ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਕਿਸੇ ਦੇ ਪੁੱਛਣ ਤੋਂ ਪਹਿਲਾਂ Perplexity ਨੂੰ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਬਾਰੇ ਪਤਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ Perplexity-User ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਜਦੋਂ ਕਿਸੇ ਸਵਾਲ ਨੂੰ ਲੋੜ ਹੋਵੇ ਤਾਂ ਉਹ ਪੰਨਾ ਲਾਈਵ ਖੋਲ੍ਹ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦਿੱਤਾ ਜਾਵੇ, ਤਾਂ ਦੋਵਾਂ ਨੂੰ ਉਹੀ ਪੰਨਾ ਮਿਲਣਾ ਚਾਹੀਦਾ ਹੈ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲਦਾ ਹੈ।

ਕੀ ਤੁਹਾਡਾ robots.txt PerplexityBot ਨੂੰ ਬਲੌਕ ਕਰ ਰਿਹਾ ਹੈ?

https://yourdomain.com/robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਅਜਿਹਾ ਗਰੁੱਪ ਲੱਭੋ ਜੋ PerplexityBot ਦਾ ਨਾਮ ਲੈਂਦਾ ਹੋਵੇ। ਜੇ ਅਜਿਹਾ ਕੋਈ ਨਹੀਂ ਹੈ, ਤਾਂ ਕ੍ਰੌਲਰ User-agent: * ਗਰੁੱਪ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ। RFC 9309 ਮੁਤਾਬਕ ਨਾਮ ਦਾ ਮੇਲ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦੀ ਪਰਵਾਹ ਨਹੀਂ ਕਰਦਾ, ਅਤੇ ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ * ਗਰੁੱਪ ਵਿੱਚ ਜੁੜਦਾ ਨਹੀਂ, ਸਗੋਂ ਉਸਦੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ।

ਇਹ ਬਲੌਕ ਆਮ ਹੈ। 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਦੀਆਂ robots.txt ਫਾਈਲਾਂ ਦੇ ਸਾਡੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਦੇਣ ਵਾਲੀਆਂ 518 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 86 (16.6%) ਨੇ PerplexityBot ਲਈ ਹੋਮ ਪੰਨਾ ਰੋਕਿਆ ਹੋਇਆ ਸੀ। ਇਹ ਸਾਡੇ ਜਾਂਚੇ ਕਿਸੇ ਵੀ AI ਸਰਚ ਕ੍ਰੌਲਰ ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਹਿੱਸਾ ਸੀ; OAI-SearchBot 58 ਸਾਈਟਾਂ (11.2%) 'ਤੇ ਬਲੌਕ ਸੀ। ਹੋ ਸਕਦਾ ਹੈ ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੁਝ ਸਾਈਟਾਂ AI ਸਿਖਲਾਈ ਰੋਕਣਾ ਚਾਹੁੰਦੀਆਂ ਹੋਣ, ਪਰ Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ PerplexityBot ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨਹੀਂ ਹੈ, ਇਸ ਲਈ ਉਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਉਹ ਮਕਸਦ ਪੂਰਾ ਨਹੀਂ ਹੁੰਦਾ ਅਤੇ ਸਰਚ ਵਿੱਚ ਦਿੱਖ ਘਟਦੀ ਹੈ।

ਅਜਿਹਾ ਸੈੱਟਅੱਪ ਜੋ Perplexity ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਨਿੱਜੀ ਹਿੱਸਾ ਬੰਦ ਰੱਖਦਾ ਹੈ, ਇਸ ਤਰ੍ਹਾਂ ਦਿਸਦਾ ਹੈ:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

ਇਹ ਵੀ ਜਾਂਚੋ ਕਿ ਫਾਈਲ ਖ਼ੁਦ ਸਹੀ ਜਵਾਬ ਦਿੰਦੀ ਹੈ। ਜੇ robots.txt ਸਰਵਰ ਗਲਤੀ ਦਿੰਦੀ ਹੈ, ਤਾਂ RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਮੰਨਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਪੂਰੀ ਸਾਈਟ ਰੋਕੀ ਹੋਈ ਹੈ। ਜੇ robots.txt ਦਾ ਪਤਾ ਸਥਿਤੀ 200 ਨਾਲ HTML ਪੰਨਾ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਉਸ ਵਿੱਚ ਕੋਈ ਵੈਧ ਨਿਯਮ ਨਹੀਂ ਹੁੰਦਾ। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਬਦਲਾਅ ਲਾਗੂ ਹੋਣ ਵਿੱਚ 24 ਘੰਟੇ ਤੱਕ ਲੱਗ ਸਕਦੇ ਹਨ।

ਕੀ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਜਾਂ CDN Perplexity ਨੂੰ ਬਲੌਕ ਕਰ ਰਹੀ ਹੈ?

robots.txt ਇੱਕ ਬੇਨਤੀ ਹੈ, ਪਹੁੰਚ ਕੰਟਰੋਲ ਨਹੀਂ। ਅਸਲ ਵਿੱਚ ਕੀ ਵਾਪਸ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ, ਇਹ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ, CDN ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ ਤੈਅ ਕਰਦੀ ਹੈ, ਅਤੇ ਉਹ Perplexity ਨੂੰ 403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦੇ ਸਕਦੀ ਹੈ ਜਦਕਿ ਤੁਹਾਡੇ ਆਪਣੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਸਭ ਆਮ ਦਿਸਦਾ ਹੈ। Perplexity ਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ ਵੈੱਬ ਐਪਲੀਕੇਸ਼ਨ ਫਾਇਰਵਾਲ ਪਿੱਛੇ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ਨੂੰ ਉਸਦੇ ਬੋਟਾਂ ਨੂੰ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਇਜਾਜ਼ਤ ਦੇਣੀ ਪੈ ਸਕਦੀ ਹੈ।

ਇਸਦੀ ਜਾਂਚ ਲਈ ਉਹੀ URL ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਅਤੇ ਹਰ Perplexity ਏਜੰਟ ਵਜੋਂ ਮੰਗੋ, ਫਿਰ ਸਥਿਤੀ ਅਤੇ ਆਕਾਰ ਦੀ ਤੁਲਨਾ ਕਰੋ:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

ਸਿਰਫ਼ Perplexity ਏਜੰਟਾਂ ਲਈ 403, 429 ਜਾਂ 503, Just a moment... ਸਿਰਲੇਖ ਵਾਲਾ ਪੰਨਾ, ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲੇ ਨਾਲੋਂ ਕਾਫ਼ੀ ਛੋਟਾ 200 ਜਵਾਬ, ਇਹ ਸਭ ਫਾਇਰਵਾਲ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ। ਇਹ ਟੈਸਟ ਤੁਹਾਡੇ IP ਪਤੇ ਤੋਂ ਚੱਲਦਾ ਹੈ, Perplexity ਦੇ ਨਹੀਂ, ਇਸ ਲਈ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਨਿਯਮ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦੇ ਹਨ; IP 'ਤੇ ਅਧਾਰਿਤ ਨਿਯਮ ਅਸਲ ਕ੍ਰੌਲਰ ਲਈ ਫਿਰ ਵੀ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ।

ਜੇ ਤੁਸੀਂ Cloudflare ਵਰਤਦੇ ਹੋ, ਤਾਂ ਦੋ ਗੱਲਾਂ ਧਿਆਨ ਵਿੱਚ ਰੱਖੋ। Perplexity ਦੇ ਦਸਤਾਵੇਜ਼ Cloudflare ਦੀ ਆਪਣੀ ਗੱਲ ਦੁਹਰਾਉਂਦੇ ਹਨ ਕਿ Bot Fight Mode ਨੂੰ WAF custom rules ਨਾਲ ਛੱਡਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ, ਇਸ ਲਈ ਜੇ ਇਹ ਫੀਚਰ Perplexity ਨੂੰ ਚੈਲੰਜ ਕਰਦਾ ਹੈ ਤਾਂ allow ਨਿਯਮ ਮਦਦ ਨਹੀਂ ਕਰੇਗਾ। ਅਤੇ ਅਗਸਤ 2025 ਵਿੱਚ Cloudflare ਨੇ ਕਿਹਾ ਕਿ ਉਸਨੇ ਉਹ ਚੀਜ਼ ਦੇਖਣ ਤੋਂ ਬਾਅਦ, ਜਿਸਨੂੰ ਉਸਨੇ ਅਣਐਲਾਨੀ ਕ੍ਰੌਲਿੰਗ ਕਿਹਾ, Perplexity ਨੂੰ ਆਪਣੀ verified bots ਸੂਚੀ ਤੋਂ ਹਟਾ ਦਿੱਤਾ; Perplexity ਨੇ ਇਸ ਬਿਆਨ ਨਾਲ ਅਸਹਿਮਤੀ ਜਤਾਈ। ਇਸ ਲਈ ਸਿਰਫ਼ ਪ੍ਰਮਾਣਿਤ ਬੋਟਾਂ ਨੂੰ ਲੰਘਣ ਦੇਣ ਵਾਲੇ ਨਿਯਮ ਸ਼ਾਇਦ Perplexity ਨੂੰ ਕਵਰ ਨਾ ਕਰਨ। ਅੰਦਾਜ਼ਾ ਲਾਉਣ ਦੀ ਥਾਂ ਆਪਣੇ ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ ਮੌਜੂਦਾ ਸਥਿਤੀ ਦੇਖੋ।

ਮੈਂ Perplexity ਨੂੰ ਉਸਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਵਾਂ?

ਕੋਈ ਵੀ ਅਜਿਹੀ ਬੇਨਤੀ ਭੇਜ ਸਕਦਾ ਹੈ ਜੋ PerplexityBot ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰੇ, ਇਸ ਲਈ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਮੇਲ ਖਾਣ ਵਾਲਾ allow ਨਿਯਮ ਨਕਲਚੀਆਂ ਨੂੰ ਵੀ ਅੰਦਰ ਆਉਣ ਦਿੰਦਾ ਹੈ। Perplexity ਦੋਵਾਂ ਏਜੰਟਾਂ ਦੀਆਂ ਪਤਾ ਰੇਂਜਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟ ਅਤੇ IP ਪਤੇ ਦੋਵਾਂ ਦਾ ਇਕੱਠੇ ਮੇਲ ਕਰਨ ਦੀ ਸਲਾਹ ਦਿੰਦਾ ਹੈ:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਸੂਚੀਆਂ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਅੱਪਡੇਟ ਹੁੰਦੀਆਂ ਹਨ ਅਤੇ ਤੁਹਾਡੇ WAF ਨਿਯਮਾਂ ਦੇ ਅੱਪਡੇਟ ਸਵੈਚਲਿਤ ਕਰਨ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ। allow ਨਿਯਮ ਨੂੰ ਬੇਨਤੀਆਂ ਬਲੌਕ ਜਾਂ ਚੈਲੰਜ ਕਰਨ ਵਾਲੇ ਹਰ ਨਿਯਮ ਤੋਂ ਉੱਪਰ ਰੱਖੋ: Cloudflare ਦੇ custom rules ਵਿੱਚ ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਜਾਂ AWS WAF ਵਿੱਚ ਘੱਟ priority ਨੰਬਰ ਨਾਲ। ਫਿਰ ਆਪਣੇ ਲੌਗ ਦੇਖਦੇ ਰਹੋ, ਕਿਉਂਕਿ ਫਾਇਰਵਾਲ ਦੇ ਬਦਲਾਅ ਫੈਲਣ ਵਿੱਚ ਸਮਾਂ ਲੱਗ ਸਕਦਾ ਹੈ।

ਕੀ JavaScript ਰੈਂਡਰਿੰਗ Perplexity ਨੂੰ ਪੰਨਾ ਪੜ੍ਹਨ ਤੋਂ ਰੋਕ ਸਕਦੀ ਹੈ?

ਹਾਂ, ਰੋਕ ਸਕਦੀ ਹੈ। Perplexity ਦੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਇਹ ਨਹੀਂ ਦੱਸਦੇ ਕਿ ਉਸਦੇ ਏਜੰਟ JavaScript ਚਲਾਉਂਦੇ ਹਨ ਜਾਂ ਨਹੀਂ, ਇਸ ਲਈ ਸੁਰੱਖਿਅਤ ਧਾਰਨਾ ਇਹ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਲੋੜੀਂਦਾ ਟੈਕਸਟ ਸਰਵਰ ਦੇ ਭੇਜੇ HTML ਵਿੱਚ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਪੂਰੀ ਤਰ੍ਹਾਂ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਬਣਨ ਵਾਲੇ ਪੰਨੇ, ਜਿਵੇਂ ਸਰਵਰ ਰੈਂਡਰਿੰਗ ਤੋਂ ਬਿਨਾਂ single-page ਐਪਸ, ਲੋਡਿੰਗ ਸਪਿਨਰ ਵਾਲੇ ਖਾਲੀ ਢਾਂਚੇ ਵਜੋਂ ਪਹੁੰਚ ਸਕਦੇ ਹਨ।

ਇੱਕ ਤੇਜ਼ ਜਾਂਚ ਇਹ ਹੈ ਕਿ ਪੰਨਾ curl ਨਾਲ ਲਓ ਅਤੇ ਆਉਟਪੁੱਟ ਵਿੱਚ ਆਪਣੀ ਮੁੱਖ ਸਮੱਗਰੀ ਦਾ ਕੋਈ ਵਾਕ ਲੱਭੋ। ਜੇ ਉਹ ਉੱਥੇ ਨਹੀਂ ਹੈ, ਤਾਂ ਟੈਕਸਟ ਸਕ੍ਰਿਪਟਾਂ ਰਾਹੀਂ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ। ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ, ਸਟੈਟਿਕ ਜਨਰੇਸ਼ਨ ਜਾਂ ਕ੍ਰੌਲਰਾਂ ਲਈ ਪ੍ਰੀਰੈਂਡਰਿੰਗ ਇਸਨੂੰ ਸਿਰਫ਼ Perplexity ਲਈ ਨਹੀਂ, ਸਗੋਂ ਹਰ AI ਕ੍ਰੌਲਰ ਲਈ ਇੱਕੋ ਵਾਰ ਠੀਕ ਕਰ ਦਿੰਦੀ ਹੈ।

ਜੇ ਸਭ ਕੁਝ ਖੁੱਲ੍ਹਾ ਹੈ ਅਤੇ ਮੇਰੀ ਸਾਈਟ ਫਿਰ ਵੀ ਨਹੀਂ ਦਿਸਦੀ ਤਾਂ ਕੀ ਕਰਾਂ?

ਪੜ੍ਹਨਯੋਗ ਹੋਣਾ ਸ਼ਰਤ ਹੈ, ਗਾਰੰਟੀ ਨਹੀਂ। Perplexity ਇਹ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦਾ ਕਿ ਉਹ ਹਵਾਲੇ ਲਈ ਸਰੋਤ ਕਿਵੇਂ ਚੁਣਦਾ ਹੈ, ਇਸ ਲਈ ਜਿਸ ਪੰਨੇ ਨੂੰ ਹਰ ਏਜੰਟ ਪੜ੍ਹ ਸਕਦਾ ਹੈ, ਉਹ ਵੀ ਉਨ੍ਹਾਂ ਪੰਨਿਆਂ ਤੋਂ ਪਿੱਛੇ ਰਹਿ ਸਕਦਾ ਹੈ ਜੋ ਸਵਾਲ ਦਾ ਜਵਾਬ ਵਧੇਰੇ ਸਿੱਧੇ ਤਰੀਕੇ ਨਾਲ ਦਿੰਦੇ ਹਨ। ਤੁਹਾਡੇ ਵੱਸ ਵਿੱਚ ਇਹ ਹੈ ਕਿ ਕੋਈ ਤਕਨੀਕੀ ਰੁਕਾਵਟ ਨਾ ਹੋਵੇ: ਸਾਫ਼ ਪੰਨਾ ਸਿਰਲੇਖ, ਟੈਕਸਟ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਦਿੱਤਾ ਜਵਾਬ, ਅਤੇ ਸਹੀ ਤੱਥ ਜੋ ਤੁਹਾਡੀਆਂ ਹੋਰ ਥਾਵਾਂ ਦੀਆਂ ਗੱਲਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹੋਣ।

ਇਹ ਵੀ ਯਾਦ ਰੱਖੋ ਕਿ robots.txt ਕੀ ਕਵਰ ਨਹੀਂ ਕਰਦੀ। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ Perplexity-User ਆਮ ਤੌਰ 'ਤੇ robots.txt ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਪੰਨਾ ਲਿਆਉਣ ਦੀ ਬੇਨਤੀ ਕਿਸੇ ਯੂਜ਼ਰ ਨੇ ਕੀਤੀ ਸੀ। ਇਸ ਲਈ Perplexity-User ਲਈ ਨਿਯਮ ਲਾਈਵ ਵਿਜ਼ਿਟਾਂ ਨੂੰ ਰੋਕਣ ਦਾ ਭਰੋਸੇਯੋਗ ਤਰੀਕਾ ਨਹੀਂ ਹੈ, ਅਤੇ ਉਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਵਾਲੀ robots.txt ਇਸ ਗੱਲ ਦਾ ਸਬੂਤ ਨਹੀਂ ਕਿ ਉਹ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਪਾਰ ਕਰ ਲੈਂਦਾ ਹੈ।

AISeeWhy ਤੁਹਾਡਾ ਪੰਨਾ ਇੱਕ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ-ਨਾਲ PerplexityBot, Perplexity-User ਅਤੇ 12 ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਮੰਗਦਾ ਹੈ, ਹਰ ਇੱਕ ਲਈ ਤੁਹਾਡੇ robots.txt ਨਿਯਮ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦਾ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ JavaScript ਤੋਂ ਬਿਨਾਂ ਕਿੰਨਾ ਟੈਕਸਟ ਪਹੁੰਚਦਾ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਦੇਖ ਸਕੋ ਕਿ ਲੜੀ ਦੀ ਕਿਹੜੀ ਕੜੀ ਟੁੱਟਦੀ ਹੈ।

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਸਰੋਤ

ਹੋਰ ਲੇਖ

ਪ੍ਰਕਾਸ਼ਿਤ · ਅੱਪਡੇਟ ਕੀਤਾ