robots.txt ਲਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ

ਛੋਟਾ ਜਵਾਬ

/robots.txt ਲਿਆਉਣਾ ਫੇਲ੍ਹ ਹੋ ਗਿਆ: ਸਰਵਰ ਨੇ 5xx ਸਥਿਤੀ ਜਾਂ 429 ਨਾਲ ਜਵਾਬ ਦਿੱਤਾ, ਜਾਂ ਬਿਲਕੁਲ ਜਵਾਬ ਨਹੀਂ ਦਿੱਤਾ। RFC 9309 ਮੁਤਾਬਕ ਅਜਿਹੇ ਵਿੱਚ ਕ੍ਰੌਲਰ ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਮਨ੍ਹਾ ਮੰਨਦੇ ਹਨ। /robots.txt ਨੂੰ ਸਾਦੇ ਟੈਕਸਟ ਨਾਲ ਸਥਿਤੀ 200 ਵਾਪਸ ਕਰਨ ਦਿਓ, ਜਾਂ ਜੇ ਤੁਹਾਡੇ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਤਾਂ 404।

robots.unreachable · ਤਰਜੀਹ: P1

ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ

robots.txt ਨੇ ਸਥਿਤੀ 403 ਨਾਲ ਜਵਾਬ ਦਿੱਤਾ ਜਾਂ ਜਵਾਬ ਨਹੀਂ ਦਿੱਤਾ। RFC 9309 ਮੁਤਾਬਕ ਤਦ ਕ੍ਰੌਲਰ ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਮਨ੍ਹਾ ਮੰਨਦੇ ਹਨ।

AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਜਿਹੜਾ ਕ੍ਰੌਲਰ ਸਰਵਰ ਗਲਤੀ ਕਾਰਨ robots.txt ਤੱਕ ਨਹੀਂ ਪਹੁੰਚ ਸਕਦਾ, ਉਸਨੂੰ ਪੂਰੀ ਮਨਾਹੀ ਮੰਨਣੀ ਚਾਹੀਦੀ ਹੈ। Googlebot, Bingbot ਅਤੇ ਮਿਆਰ ਦੀ ਪਾਲਣਾ ਕਰਨ ਵਾਲੇ AI ਕ੍ਰੌਲਰ ਉਦੋਂ ਤੱਕ ਪੰਨੇ ਲਿਆਉਣੇ ਬੰਦ ਕਰ ਦਿੰਦੇ ਹਨ ਜਦੋਂ ਤੱਕ robots.txt ਦੁਬਾਰਾ ਜਵਾਬ ਨਹੀਂ ਦਿੰਦਾ, ਇਸ ਲਈ ਇੱਕ ਖ਼ਰਾਬ ਫਾਈਲ ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਲੁਕਾ ਸਕਦੀ ਹੈ।

ਗਾਇਬ ਫਾਈਲ ਵੱਖਰੀ ਗੱਲ ਹੈ: 404 ਜਾਂ ਕੋਈ ਹੋਰ 4xx ਸਥਿਤੀ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕੋਈ ਨਿਯਮ ਨਹੀਂ, ਇਸ ਲਈ ਸਭ ਕੁਝ ਇਜਾਜ਼ਤਸ਼ੁਦਾ ਹੈ ਅਤੇ AISeeWhy ਕੁਝ ਰਿਪੋਰਟ ਨਹੀਂ ਕਰਦਾ। ਸਮੱਸਿਆ ਸਿਰਫ਼ ਸਰਵਰ ਗਲਤੀਆਂ, rate limits (429) ਅਤੇ ਉਹ ਬੇਨਤੀਆਂ ਹਨ ਜੋ ਕੋਈ ਸਥਿਤੀ ਵਾਪਸ ਆਉਣ ਤੋਂ ਪਹਿਲਾਂ ਸਮਾਂ ਖ਼ਤਮ ਹੋਣ ਕਾਰਨ ਜਾਂ ਇਨਕਾਰ ਨਾਲ ਰੁਕ ਜਾਂਦੀਆਂ ਹਨ।

ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ

  1. ਆਪਣੇ ਨੈੱਟਵਰਕ ਤੋਂ ਬਾਹਰੋਂ https://your-domain/robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਸਥਿਤੀ ਨੋਟ ਕਰੋ। ਆਡਿਟ ਇਸਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਲਿਆਉਂਦਾ ਹੈ।
  2. ਜੇ ਇਹ 5xx ਹੈ, ਤਾਂ origin route ਜਾਂਚੋ: Next.js ਵਰਗੇ ਫਰੇਮਵਰਕ ਇਸਨੂੰ public/robots.txt ਜਾਂ app/robots.ts ਤੋਂ ਦਿੰਦੇ ਹਨ, WordPress ਇਸਨੂੰ dynamically ਬਣਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ PHP ਗਲਤੀ ਇਸਨੂੰ ਤੋੜ ਦਿੰਦੀ ਹੈ।
  3. ਜੇ ਇਹ 429 ਜਾਂ timeout ਹੈ, ਤਾਂ ਆਪਣੇ CDN ਜਾਂ WAF ਵਿੱਚ /robots.txt ਨੂੰ rate limiting ਅਤੇ ਬੋਟ ਚੈਲੰਜਾਂ ਤੋਂ ਛੋਟ ਦਿਓ।
  4. robots.txt ਨੂੰ CDN 'ਤੇ cache ਕਰੋ ਤਾਂ ਜੋ origin ਹੌਲੀ ਹੋਣ 'ਤੇ ਵੀ ਇਹ ਜਵਾਬ ਦੇਵੇ। AISeeWhy ਰਿਪੋਰਟ ਸਬੂਤ ਅਤੇ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਹੱਲ ਦਿਖਾਉਂਦੀ ਹੈ; ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਬਾਅਦ ਵਿੱਚ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਚਲਾਓ।

ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ

ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।

ਮੇਰਾ ਪੰਨਾ ਜਾਂਚੋ →

ਸੰਬੰਧਿਤ ਗਾਈਡਾਂ

ਸਾਰੀਆਂ ਖੋਜਾਂ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ