2 ਪੰਨਿਆਂ ਨੇ ਕ੍ਰੌਲ ਤੋਂ ਇਨਕਾਰ ਕੀਤਾ

ਛੋਟਾ ਜਵਾਬ

ਜਦੋਂ ਆਡਿਟ ਨੇ ਇਹ ਪੰਨੇ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਲਿਆਂਦੇ, ਤਾਂ ਇਨ੍ਹਾਂ ਨੇ 401, 403, 429 ਜਾਂ 503 ਨਾਲ ਜਵਾਬ ਦਿੱਤਾ, ਜਾਂ ਇਨ੍ਹਾਂ ਦਾ timeout ਹੋ ਗਿਆ। ਇਹ ਅਕਸਰ ਟੁੱਟੇ ਪੰਨੇ ਦੀ ਥਾਂ ਫਾਇਰਵਾਲ, ਬੋਟ ਸੁਰੱਖਿਆ ਜਾਂ rate limit ਹੁੰਦਾ ਹੈ। ਜਾਂਚੋ ਕਿ ਕੀ ਸਰਚ ਅਤੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਵੀ ਇਹੀ ਜਵਾਬ ਮਿਲਦਾ ਹੈ।

crawl.unreachable · ਤਰਜੀਹ: P1–P3, ਕ੍ਰੌਲਰ ਦੀ ਕਿਸਮ ਮੁਤਾਬਕ

ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ

ਇਨ੍ਹਾਂ ਪੰਨਿਆਂ ਨੇ 401, 403, 429 ਜਾਂ 503 ਨਾਲ ਜਵਾਬ ਦਿੱਤਾ, ਜਾਂ ਸਮਾਂ ਖ਼ਤਮ ਹੋ ਗਿਆ। ਹੋ ਸਕਦਾ ਹੈ ਫਾਇਰਵਾਲ ਜਾਂ ਦਰ ਸੀਮਾ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਵੀ ਰੋਕ ਰਹੀ ਹੋਵੇ; ਜਾਂਚੋ ਕਿ ਸਰਚ ਅਤੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਵੀ ਇਹੀ ਜਵਾਬ ਮਿਲਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।

AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

ਆਡਿਟ ਇੱਕ ਸਰਵਰ ਤੋਂ ਥੋੜ੍ਹੇ ਸਮੇਂ ਵਿੱਚ ਕਈ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ, ਇਸ ਲਈ rate limit 429 ਜਾਂ 503 ਨਾਲ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ ਭਾਵੇਂ ਲੋਕਾਂ ਨੂੰ ਪੰਨਾ ਮਿਲਦਾ ਹੋਵੇ। ਜੇ ਇਹੀ ਨਿਯਮ ਸਰਚ ਅਤੇ AI ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਇਹ ਪੰਨੇ ਉਨ੍ਹਾਂ ਦੇ ਇੰਡੈਕਸਾਂ ਲਈ ਲਿਆਂਦੇ ਨਹੀਂ ਜਾਂਦੇ ਅਤੇ AI ਜਵਾਬਾਂ ਵਿੱਚ ਇਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਨਹੀਂ ਦਿੱਤਾ ਜਾ ਸਕਦਾ।

401 ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਪੰਨੇ ਨੂੰ ਲੌਗਇਨ ਚਾਹੀਦਾ ਹੈ, ਜੋ ਖਾਤੇ ਵਾਲੇ ਹਿੱਸਿਆਂ ਲਈ ਉਮੀਦ ਮੁਤਾਬਕ ਹੈ ਪਰ ਜਨਤਕ ਸਮੱਗਰੀ ਲਈ ਨਹੀਂ। ਹਰ ਪੰਨੇ 'ਤੇ 503 ਦਾ ਮਤਲਬ ਹੋ ਸਕਦਾ ਹੈ ਕਿ maintenance mode ਚਾਲੂ ਰਹਿ ਗਿਆ। ਇਹ ਪੰਨੇ ਟੁੱਟੇ ਲਿੰਕਾਂ ਤੋਂ ਵੱਖ ਰੱਖੇ ਜਾਂਦੇ ਹਨ ਕਿਉਂਕਿ ਹੱਲ ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਇਨਕਾਰ ਕਿਸਨੂੰ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ।

ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ

  1. ਦਰਜ URLs ਵਿੱਚੋਂ ਕੁਝ ਨੂੰ private ਬ੍ਰਾਊਜ਼ਰ window ਵਿੱਚ ਖੋਲ੍ਹੋ। ਜੇ ਉਹ ਲੋਡ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਬਲੌਕ ਸਵੈਚਾਲਿਤ ਬੇਨਤੀਆਂ 'ਤੇ ਨਿਸ਼ਾਨਾ ਹੈ।
  2. ਆਪਣੇ ਫਾਇਰਵਾਲ, CDN ਜਾਂ hosting ਲੌਗਾਂ ਵਿੱਚ ਇਨਕਾਰ ਕੀਤੀਆਂ ਬੇਨਤੀਆਂ ਲੱਭੋ। ਪੱਕਾ ਕਰੋ ਕਿ Googlebot ਅਤੇ Bingbot ਵਰਗੇ ਪ੍ਰਮਾਣਿਤ ਸਰਚ ਕ੍ਰੌਲਰਾਂ, ਅਤੇ ਤੁਹਾਡੇ ਚਾਹੇ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਹੈ; Cloudflare ਸਮੇਤ ਬਹੁਤ ਸਾਰੇ CDNs ਵਿੱਚ verified bots ਲਈ ਸੈਟਿੰਗ ਹੁੰਦੀ ਹੈ।
  3. ਜੇ ਇਹ rate limit ਕਾਰਨ ਹੋਇਆ, ਤਾਂ ਆਮ ਪੰਨਾ ਬੇਨਤੀਆਂ ਲਈ ਸੀਮਾ ਵਧਾਓ ਜਾਂ HTML ਪੰਨਿਆਂ ਨੂੰ ਇਸ ਤੋਂ ਬਾਹਰ ਰੱਖੋ।
  4. ਜੇ ਪੰਨੇ 401 ਨਾਲ ਜਵਾਬ ਦਿੰਦੇ ਹਨ, ਤਾਂ ਜਨਤਕ ਪੰਨਿਆਂ ਤੋਂ ਲੌਗਇਨ ਹਟਾਓ, ਜਾਂ ਜਨਤਕ ਪੰਨਿਆਂ ਤੋਂ ਨਿੱਜੀ ਪੰਨਿਆਂ ਨੂੰ ਲਿੰਕ ਕਰਨਾ ਬੰਦ ਕਰੋ।
  5. ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਆਪਣੇ ਖਾਤੇ ਤੋਂ ਸਾਈਟ ਆਡਿਟ ਦੁਬਾਰਾ ਚਲਾਓ।

ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ

ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।

ਮੇਰਾ ਪੰਨਾ ਜਾਂਚੋ →

ਸਾਰੀਆਂ ਖੋਜਾਂ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ