robots.txt GPTBot ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਪਰ ਸਰਵਰ ਇਸਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ

ਛੋਟਾ ਜਵਾਬ

ਤੁਹਾਡਾ robots.txt ਇਸ ਕ੍ਰੌਲਰ ਨੂੰ ਪੰਨਾ ਲਿਆਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਪਰ ਇਸਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਵਾਲੀ ਬੇਨਤੀ ਨੂੰ ਸਰਵਰ, CDN ਜਾਂ ਫਾਇਰਵਾਲ ਨੇ ਬਲੌਕ ਕਰ ਦਿੱਤਾ। ਦੱਸੀ ਗਈ ਨੀਤੀ ਅਤੇ ਅਸਲ ਵਿਹਾਰ ਮੇਲ ਨਹੀਂ ਖਾਂਦੇ। ਫਾਇਰਵਾਲ ਨਿਯਮ ਨੂੰ robots.txt ਮੁਤਾਬਕ ਬਦਲੋ, ਜਾਂ ਜੇ ਤੁਸੀਂ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸੀ ਤਾਂ robots.txt ਵਿੱਚ ਉਸਨੂੰ ਮਨ੍ਹਾ ਕਰੋ।

robots.access_conflict · ਤਰਜੀਹ: P1–P3, ਕ੍ਰੌਲਰ ਦੀ ਕਿਸਮ ਮੁਤਾਬਕ

ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ

ਤੁਹਾਡੇ ਨਿਯਮ GPTBot ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੇ ਹਨ, ਫਿਰ ਵੀ ਉਸਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਵਾਲੀ ਬੇਨਤੀ ਬਲੌਕ ਹੋ ਗਈ। ਫਾਇਰਵਾਲ ਜਾਂ CDN ਤੁਹਾਡੀ ਦੱਸੀ ਨੀਤੀ ਨੂੰ ਪਲਟ ਦਿੰਦਾ ਹੈ।

AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

ਕ੍ਰੌਲਰ robots.txt ਨੂੰ ਤੁਹਾਡੀ ਨੀਤੀ ਮੰਨਦੇ ਹਨ। ਜਦੋਂ ਇਹ ਹਾਂ ਕਹਿੰਦਾ ਹੈ ਅਤੇ ਸਰਵਰ 403 ਕਹਿੰਦਾ ਹੈ, ਤਾਂ ਕ੍ਰੌਲਰ ਬੇਨਤੀਆਂ ਬਰਬਾਦ ਕਰਦਾ ਹੈ, ਬਾਅਦ ਵਿੱਚ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਪੰਨਾ ਫਿਰ ਵੀ ਜਵਾਬ ਇੰਜਣ ਦੇ ਇੰਡੈਕਸ ਵਿੱਚ ਨਹੀਂ ਪਹੁੰਚਦਾ। ਟੀਮਾਂ ਅਕਸਰ ਮੰਨਦੀਆਂ ਹਨ ਕਿ ਉਹ AI ਸਰਚ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ ਕਿਉਂਕਿ robots.txt ਇਹ ਕਹਿੰਦਾ ਹੈ, ਜਦਕਿ ਕੋਈ ਬੋਟ ਨਿਯਮ ਚੁੱਪਚਾਪ ਇਸਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ।

ਜਾਂਚ ਇੱਕ ਅਣ-ਪ੍ਰਮਾਣਿਤ IP ਪਤੇ ਤੋਂ ਚੱਲਦੀ ਹੈ। ਇਸ ਲਈ ਅਜਿਹਾ ਨਿਯਮ ਜੋ ਕ੍ਰੌਲਰ ਨੂੰ ਸਿਰਫ਼ ਉਸਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਤੋਂ ਲੰਘਣ ਦਿੰਦਾ ਹੈ, ਜੋ ਇੱਕ ਵਾਜਬ ਸੈੱਟਅੱਪ ਹੈ, ਇੱਥੇ ਦਿਸ ਸਕਦਾ ਹੈ ਭਾਵੇਂ ਅਸਲ ਕ੍ਰੌਲਰ ਅੰਦਰ ਆ ਜਾਂਦਾ ਹੈ। ਕੁਝ ਵੀ ਬਦਲਣ ਤੋਂ ਪਹਿਲਾਂ ਜਾਂਚੋ ਕਿ ਕਿਹੜਾ ਨਿਯਮ ਲਾਗੂ ਹੋਇਆ।

ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ

  1. ਖੋਜ ਵਿੱਚ robots.txt ਗਰੁੱਪ ਅਤੇ ਬਲੌਕ ਹੋਈ ਬੇਨਤੀ ਦੀ ਸਥਿਤੀ ਦੀ ਤੁਲਨਾ ਕਰੋ। AISeeWhy ਰਿਪੋਰਟ ਸਬੂਤ ਅਤੇ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਹੱਲ ਦਿਖਾਉਂਦੀ ਹੈ; ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਬਾਅਦ ਵਿੱਚ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਚਲਾਓ।
  2. ਉਹ ਨਿਯਮ ਲੱਭੋ ਜਿਸਨੇ ਬੇਨਤੀ ਬਲੌਕ ਕੀਤੀ: Cloudflare 'ਤੇ Security → Events ਅਤੇ AI Crawl Control ਅਤੇ Bot Fight Mode ਸੈਟਿੰਗਾਂ ਦੇਖੋ; ਹੋਰ CDNs 'ਤੇ ਬੋਟ ਪ੍ਰਬੰਧਨ ਲੌਗ ਦੇਖੋ।
  3. ਜੇ ਤੁਸੀਂ ਕ੍ਰੌਲਰ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦੇਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਉਸ ਲਈ ਛੋਟ ਜੋੜੋ; ਜੇ ਬਾਹਰ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਉਸਦੇ ਟੋਕਨ ਲਈ Disallow ਗਰੁੱਪ ਜੋੜੋ ਤਾਂ ਜੋ ਤੁਹਾਡੀ ਨੀਤੀ ਇੱਕ ਥਾਂ ਦੱਸੀ ਹੋਵੇ।

ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ

ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।

ਮੇਰਾ ਪੰਨਾ ਜਾਂਚੋ →

ਸੰਬੰਧਿਤ ਗਾਈਡਾਂ

ਸਾਰੀਆਂ ਖੋਜਾਂ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ