ਕੀ ChatGPT ਮੇਰੀ ਵੈੱਬਸਾਈਟ ਦੇਖ ਸਕਦਾ ਹੈ? ਕਿਵੇਂ ਜਾਂਚੀਏ

ਆਪਣਾ ਪੰਨਾ ਪੇਸਟ ਕਰੋ ਅਤੇ ਲਗਭਗ 30 ਸਕਿੰਟਾਂ ਵਿੱਚ ਦੇਖੋ ਕਿ ChatGPT ਦੇ ਕ੍ਰੌਲਰ ਉਸ ਤੱਕ ਪਹੁੰਚ ਸਕਦੇ ਹਨ, ਉਸਨੂੰ ਪੜ੍ਹ ਸਕਦੇ ਹਨ ਅਤੇ ਉਸਦਾ ਹਵਾਲਾ ਦੇ ਸਕਦੇ ਹਨ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਜੇ ਨਹੀਂ ਤਾਂ ਕੀ ਬਦਲਣਾ ਹੈ।

ਮੁਫ਼ਤ · ਸਾਈਨ-ਅੱਪ ਨਹੀਂ · 30 ਸਕਿੰਟਾਂ ਵਿੱਚ ਨਤੀਜੇ

ਕ੍ਰੌਲਰ ਦਰ ਕ੍ਰੌਲਰ robots.txt

OAI-SearchBot, ChatGPT-User ਅਤੇ GPTBot ਨੂੰ RFC 9309 ਦੇ ਨਿਯਮਾਂ ਮੁਤਾਬਕ ਵੱਖ-ਵੱਖ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਦੇਖਦੇ ਹੋ ਕਿ ਕਿਹੜਾ ਮਨਜ਼ੂਰ ਹੈ ਅਤੇ ਕਿਹੜੀ ਲਾਈਨ ਫ਼ੈਸਲਾ ਕਰਦੀ ਹੈ।

ਫਾਇਰਵਾਲ ਅਤੇ CDN ਦੀਆਂ ਰੋਕਾਂ

ਤੁਹਾਡਾ ਪੰਨਾ 14 ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਅਤੇ ਇੱਕ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਮੰਗਿਆ ਜਾਂਦਾ ਹੈ। 403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਜੋ ਸਿਰਫ਼ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮਿਲਦਾ ਹੈ, ਨਿਸ਼ਾਨਦੇਹ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਉਸਦੇ ਪਿੱਛੇ ਦੀ ਫਾਇਰਵਾਲ ਦਾ ਨਾਮ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ।

ਕ੍ਰੌਲਰ ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਦਾ ਹੈ

ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਸਟੇਟਸ, ਆਕਾਰ ਅਤੇ ਰੀਡਾਇਰੈਕਟਾਂ ਦੀ ਤੁਲਨਾ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲਣ ਵਾਲੇ ਨਾਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਇਸ ਲਈ ਜੋ ਪੰਨਾ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਲੋਕਾਂ ਨਾਲੋਂ ਘੱਟ ਦਿੰਦਾ ਹੈ ਉਹ ਸਾਫ਼ ਦਿਸ ਪੈਂਦਾ ਹੈ।

ਹਰ ਨਤੀਜੇ ਲਈ ਹੱਲ

ਹਰ ਨਤੀਜੇ ਦੇ ਨਾਲ ਉਹ ਬਦਲਾਅ ਮਿਲਦਾ ਹੈ ਜੋ ਕਰਨਾ ਹੈ। ਮੁਫ਼ਤ ਜਾਂਚ ਤੁਹਾਡਾ ਸਕੋਰ ਅਤੇ ਪਹਿਲਾ ਨਤੀਜਾ ਦਿਖਾਉਂਦੀ ਹੈ; ਪੂਰੀ ਰਿਪੋਰਟ $29 ਦੀ ਹੈ, ਇੱਕ ਵਾਰ ਦੀ ਅਦਾਇਗੀ।

ਛੋਟਾ ਜਵਾਬ

ChatGPT ਤੁਹਾਡੇ ਪੰਨੇ ਦਾ ਹਵਾਲਾ ਤਾਂ ਹੀ ਦੇ ਸਕਦਾ ਹੈ ਜੇ OpenAI ਦਾ ਸਰਚ ਕ੍ਰੌਲਰ, OAI-SearchBot, ਉਸਨੂੰ ਲਿਆ ਸਕਦਾ ਹੈ ਅਤੇ ਉਸਨੂੰ ਉਹੀ HTML ਮਿਲਦਾ ਹੈ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲਦਾ ਹੈ। ਤਿੰਨ ਚੀਜ਼ਾਂ ਜਾਂਚੋ: ਤੁਹਾਡੀ robots.txt OAI-SearchBot ਨੂੰ ਨਹੀਂ ਰੋਕਦੀ, ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਜਾਂ CDN ਉਸਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਨਹੀਂ ਦਿੰਦੀ, ਅਤੇ ਮੁੱਖ ਟੈਕਸਟ ਸ਼ੁਰੂਆਤੀ HTML ਵਿੱਚ ਹੈ। ਪੜ੍ਹੇ ਜਾ ਸਕਣਾ ਸਿਫ਼ਾਰਸ਼ ਹੋਣ ਦੇ ਬਰਾਬਰ ਨਹੀਂ: ਇਹ ਦੇਖਣ ਲਈ ਕਿ ChatGPT ਤੁਹਾਡੀ ਸਾਈਟ ਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਉਸ ਤੋਂ ਉਹ ਸਵਾਲ ਪੁੱਛੋ ਜੋ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਪੁੱਛਦੇ ਹਨ ਅਤੇ ਨੋਟ ਕਰੋ ਕਿ ਉਹ ਕਿਹੜੀਆਂ ਸਾਈਟਾਂ ਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ।

3 ਕਦਮਾਂ ਵਿੱਚ ਖ਼ੁਦ ਜਾਂਚੋ

  1. ਆਪਣੀ robots.txt ਪੜ੍ਹੋ

    https://your-site.com/robots.txt ਖੋਲ੍ਹੋ। OAI-SearchBot, ChatGPT-User ਜਾਂ User-agent: * ਲਈ ਕਿਸੇ ਵੀ ਗਰੁੱਪ ਨੂੰ ਪੰਨੇ ਦੀ ਮਨਾਹੀ ਨਹੀਂ ਕਰਨੀ ਚਾਹੀਦੀ। GPTBot ਸਿਰਫ਼ ਟ੍ਰੇਨਿੰਗ ਲਈ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ।

  2. ਪਰਖੋ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ

    ਪੰਨਾ OAI-SearchBot ਵਜੋਂ ਮੰਗੋ, ਜਾਂ ਮੁਫ਼ਤ ਜਾਂਚ ਚਲਾਓ। ਜਵਾਬ 200 ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਟੈਕਸਟ ਉਹੀ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲਦਾ ਹੈ, 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਨਹੀਂ।

  3. ChatGPT ਤੋਂ ਪੁੱਛੋ

    ਸਰਚ ਚਾਲੂ ਕਰਕੇ ਉਸਨੂੰ ਆਪਣੇ URL ਦਾ ਸਾਰ ਦੇਣ ਅਤੇ ਇੱਕ ਅਜਿਹੇ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣ ਲਈ ਕਹੋ ਜੋ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਪੁੱਛਦੇ ਹਨ, ਫਿਰ ਉਸਦੇ ਦੱਸੇ ਸਰੋਤ ਦੇਖੋ। ਜੇ ਪਹੁੰਚ ਠੀਕ ਹੈ ਅਤੇ ਫਿਰ ਵੀ ਤੁਸੀਂ ਨਹੀਂ ਦਿਸਦੇ, ਤਾਂ ਕਾਰਨ ਸਮੱਗਰੀ ਹੈ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ ਮੈਂ ਮੁਫ਼ਤ ਵਿੱਚ ਜਾਂਚ ਸਕਦਾ ਹਾਂ ਕਿ ChatGPT ਮੇਰੀ ਸਾਈਟ ਦੇਖ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ?

ਹਾਂ। ਆਪਣੀ robots.txt ਪੜ੍ਹਨਾ, OAI-SearchBot ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ curl ਬੇਨਤੀ ਅਤੇ ChatGPT ਵਿੱਚ ਇੱਕ ਸਵਾਲ, ਇਨ੍ਹਾਂ ਦਾ ਕੋਈ ਖ਼ਰਚਾ ਨਹੀਂ। AISeeWhy ਦੀ ਮੁਫ਼ਤ ਜਾਂਚ ਖਾਤੇ ਤੋਂ ਬਿਨਾਂ ਦਿਨ ਵਿੱਚ ਇੱਕ ਪੰਨੇ ਲਈ ਕ੍ਰੌਲਰ ਟੈਸਟ ਚਲਾਉਂਦੀ ਹੈ।

ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ChatGPT ਮੇਰੀ ਸਾਈਟ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ?

ਸਰਚ ਚਾਲੂ ਕਰਕੇ ChatGPT ਤੋਂ ਉਹ ਸਵਾਲ ਪੁੱਛੋ ਜੋ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਪੁੱਛਦੇ ਹਨ, ਅਤੇ ਨੋਟ ਕਰੋ ਕਿ ਉਹ ਤੁਹਾਡੀ ਸਾਈਟ ਦਾ ਨਾਮ ਜਾਂ ਲਿੰਕ ਦਿੰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਇਸਦੀ ਥਾਂ ਕਿਹੜੇ ਮੁਕਾਬਲੇਬਾਜ਼ਾਂ ਦੇ ਨਾਮ ਲੈਂਦਾ ਹੈ। ਜਵਾਬ ਹਰ ਵਾਰ ਬਦਲਦੇ ਹਨ, ਇਸ ਲਈ ਹਰ ਸਵਾਲ ਦੁਹਰਾਓ ਅਤੇ ਕਈ ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਦੁਬਾਰਾ ਜਾਂਚੋ। AISeeWhy ਦੀ AI ਵਿੱਚ ਦਿੱਖ ਜਾਂਚ ਤੁਹਾਡੀਆਂ ਆਪਣੀਆਂ API ਕੁੰਜੀਆਂ ਨਾਲ ਤੁਹਾਡੇ ਸਵਾਲ ChatGPT, Claude, Perplexity ਅਤੇ Gemini ਰਾਹੀਂ ਚਲਾਉਂਦੀ ਹੈ ਅਤੇ 4 ਤੱਕ ਮੁਕਾਬਲੇਬਾਜ਼ਾਂ ਦੇ ਨਾਲ ਜ਼ਿਕਰ ਟਰੈਕ ਕਰਦੀ ਹੈ। API ਰਾਹੀਂ ਜਵਾਬ ChatGPT ਐਪ ਦੇ ਜਵਾਬਾਂ ਤੋਂ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ।

ChatGPT ਮੇਰੀ ਸਾਈਟ ਕਿਉਂ ਨਹੀਂ ਲੱਭ ਸਕਦਾ?

ਜ਼ਿਆਦਾਤਰ robots.txt ਵਿੱਚ OAI-SearchBot ਮਨ੍ਹਾ ਹੁੰਦਾ ਹੈ, ਫਾਇਰਵਾਲ ਉਸਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦਿੰਦੀ ਹੈ, ਜਾਂ ਟੈਕਸਟ ਸਿਰਫ਼ JavaScript ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਆਉਂਦਾ ਹੈ। ਜੇ ਤਿੰਨੇ ਠੀਕ ਹਨ, ਤਾਂ ਹੋ ਸਕਦਾ ਹੈ ਤੁਹਾਡਾ ਪੰਨਾ ChatGPT ਦੇ ਹਵਾਲਾ ਦਿੱਤੇ ਪੰਨਿਆਂ ਨਾਲੋਂ ਸਵਾਲ ਦਾ ਘੱਟ ਸਿੱਧਾ ਜਵਾਬ ਦਿੰਦਾ ਹੋਵੇ।

ਕੀ GPTBot ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ ਸਾਈਟ ChatGPT ਸਰਚ ਤੋਂ ਹਟ ਜਾਂਦੀ ਹੈ?

ਨਹੀਂ। OpenAI ਹਰ ਕ੍ਰੌਲਰ ਸੈਟਿੰਗ ਨੂੰ ਸੁਤੰਤਰ ਮੰਨਦਾ ਹੈ। GPTBot ਸਿਖਲਾਈ ਨਾਲ ਸੰਬੰਧਿਤ ਹੈ, ਜਦਕਿ OAI-SearchBot ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਪੰਨੇ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਦਿਖਾਏ ਜਾ ਸਕਦੇ ਹਨ ਜਾਂ ਨਹੀਂ। ਤੁਸੀਂ ਇੱਕ ਨੂੰ ਰੋਕ ਕੇ ਦੂਜੇ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਸਕਦੇ ਹੋ।

ਕੀ ChatGPT-User robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ?

OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਕਿਉਂਕਿ ਇਹ ਵਿਜ਼ਿਟਾਂ ਯੂਜ਼ਰ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ robots.txt ਨਿਯਮ ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਣ। ਜੇ ਤੁਸੀਂ ਇਹ ਵਿਜ਼ਿਟਾਂ ਰੋਕਣੀਆਂ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ robots.txt ਨਿਯਮ ਭਰੋਸੇਯੋਗ ਕੰਟਰੋਲ ਨਹੀਂ ਹੈ।

robots.txt ਦਾ ਬਦਲਾਅ ChatGPT ਤੱਕ ਕਿੰਨੀ ਦੇਰ ਵਿੱਚ ਪਹੁੰਚਦਾ ਹੈ?

OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ robots.txt ਅੱਪਡੇਟ ਤੋਂ ਬਾਅਦ ਉਸਦੇ ਸਿਸਟਮਾਂ ਨੂੰ ਸਰਚ ਲਈ ਬਦਲਣ ਵਿੱਚ ਲਗਭਗ 24 ਘੰਟੇ ਲੱਗ ਸਕਦੇ ਹਨ।

ਕੀ ਪਹੁੰਚਯੋਗ ਹੋਣਾ ਹਵਾਲਾ ਮਿਲਣ ਲਈ ਕਾਫ਼ੀ ਹੈ?

ਨਹੀਂ। ਪਹੁੰਚ ਹਵਾਲੇ ਨੂੰ ਸੰਭਵ ਬਣਾਉਂਦੀ ਹੈ; ਇਸਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਦਿੰਦੀ। ਪੰਨਾ ਕੀ ਕਹਿੰਦਾ ਹੈ, ਅਤੇ ਕਿੰਨੀ ਸਾਫ਼ ਤਰ੍ਹਾਂ ਕਹਿੰਦਾ ਹੈ, ਇਹੀ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਉਹ ਜਵਾਬ ਵਿੱਚ ਵਰਤਿਆ ਜਾਵੇਗਾ ਜਾਂ ਨਹੀਂ।

ਪੂਰੀ ਗਾਈਡ ਪੜ੍ਹੋ

ਬਹੁਤ ਸਾਰੇ ਸਾਈਟ ਮਾਲਕ ChatGPT ਤੋਂ ਆਪਣੇ ਉਤਪਾਦ ਬਾਰੇ ਪੁੱਛਦੇ ਹਨ, ਉਸਦੀ ਥਾਂ ਕਿਸੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਦਾ ਹਵਾਲਾ ਦੇਖਦੇ ਹਨ, ਅਤੇ ਸੋਚਦੇ ਹਨ ਕਿ ਕੀ ChatGPT ਉਨ੍ਹਾਂ ਦੀ ਸਾਈਟ ਤੱਕ ਪਹੁੰਚ ਵੀ ਸਕਦਾ ਹੈ। ਇਸ ਸਵਾਲ ਦਾ ਠੋਸ ਜਵਾਬ ਹੈ ਜੋ ਟੈਸਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। OpenAI ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਦੇ ਨਾਮ ਅਤੇ ਹਰ ਇੱਕ ਦਾ ਕੰਮ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਲੜੀ ਦੀ ਹਰ ਕੜੀ ਜਾਂਚ ਸਕਦੇ ਹੋ: robots.txt ਨਿਯਮ, ਤੁਹਾਡੇ ਸਰਵਰ ਦਾ ਭੇਜਿਆ ਜਵਾਬ, ਅਤੇ ਉਸ ਜਵਾਬ ਵਿਚਲੀ ਸਮੱਗਰੀ।

5 ਮਿੰਟ ਦੀ ਜਾਂਚ, ਕਦਮ ਦਰ ਕਦਮ

  1. https://your-site.com/robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਪੱਕਾ ਕਰੋ ਕਿ OAI-SearchBot, ChatGPT-User ਜਾਂ User-agent: * ਲਈ ਕੋਈ ਗਰੁੱਪ ਪੰਨੇ ਨੂੰ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦਾ। GPTBot ਸਿਰਫ਼ ਟ੍ਰੇਨਿੰਗ ਲਈ ਅਹਿਮ ਹੈ।
  2. AISeeWhy 'ਤੇ ਪੰਨੇ ਦੀ ਮੁਫ਼ਤ ਜਾਂਚ ਚਲਾਓ ਜਾਂ OAI-SearchBot ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਇੱਕ ਬੇਨਤੀ ਭੇਜੋ: ਉਸਨੂੰ ਸਥਿਤੀ 200 ਅਤੇ ਉਹੀ ਟੈਕਸਟ ਮਿਲਣਾ ਚਾਹੀਦਾ ਹੈ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲਦਾ ਹੈ, 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਨਹੀਂ।
  3. ਪੰਨੇ ਦਾ ਸੋਰਸ ਦੇਖੋ ਅਤੇ ਪੱਕਾ ਕਰੋ ਕਿ ਮੁੱਖ ਟੈਕਸਟ HTML ਵਿੱਚ ਹੈ, ਬਾਅਦ ਵਿੱਚ JavaScript ਨਾਲ ਜੋੜਿਆ ਨਹੀਂ ਗਿਆ।
  4. ਸਰਚ ਚਾਲੂ ਕਰਕੇ ChatGPT ਨੂੰ ਆਪਣੇ URL ਦਾ ਸਾਰ ਦੇਣ ਅਤੇ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰਾਂ ਵੱਲੋਂ ਪੁੱਛੇ ਜਾਂਦੇ ਇੱਕ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣ ਲਈ ਕਹੋ। ਜੋ ਸਰੋਤ ਉਹ ਦਿਖਾਉਂਦਾ ਹੈ ਉਹ ਦੇਖੋ।

ਜੇ ਕਦਮ 1 ਜਾਂ 2 ਫੇਲ੍ਹ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਪਹਿਲਾਂ ਉਹ ਠੀਕ ਕਰੋ: ਹੇਠਲੇ ਭਾਗ ਦੱਸਦੇ ਹਨ ਕਿ ਕਿਵੇਂ। ਜੇ ਚਾਰੇ ਕਦਮ ਪਾਸ ਹੋ ਜਾਣ ਅਤੇ ChatGPT ਫਿਰ ਵੀ ਤੁਹਾਡਾ ਹਵਾਲਾ ਨਾ ਦੇਵੇ, ਤਾਂ ਕਾਰਨ ਸਮੱਗਰੀ ਹੈ, ਪਹੁੰਚ ਨਹੀਂ।

ChatGPT ਦੇ ਜਵਾਬਾਂ ਲਈ OpenAI ਦੇ ਕਿਹੜੇ ਕ੍ਰੌਲਰ ਅਹਿਮ ਹਨ?

OpenAI ਤਿੰਨ ਏਜੰਟਾਂ ਦਾ ਵੇਰਵਾ ਦਿੰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨਾਲ ਸਾਈਟ ਮਾਲਕਾਂ ਦਾ ਆਮ ਤੌਰ 'ਤੇ ਵਾਸਤਾ ਪੈਂਦਾ ਹੈ। ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਵੱਖਰੇ ਹਨ, ਅਤੇ ਇੱਕ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਬਾਕੀ ਬਲੌਕ ਨਹੀਂ ਹੁੰਦੇ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਹਰ robots.txt ਸੈਟਿੰਗ ਸੁਤੰਤਰ ਹੈ।

  • OAI-SearchBot ChatGPT ਦੇ ਸਰਚ ਫੀਚਰਾਂ ਲਈ ਪੰਨੇ ਲੱਭਦਾ ਅਤੇ ਇੰਡੈਕਸ ਕਰਦਾ ਹੈ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਜਿਹੜੀਆਂ ਸਾਈਟਾਂ ਇਸ ਤੋਂ ਬਾਹਰ ਹਨ, ਉਹ ChatGPT ਸਰਚ ਦੇ ਜਵਾਬਾਂ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਈਆਂ ਜਾਣਗੀਆਂ। ਇਹੀ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।
  • GPTBot ਅਜਿਹੀ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦਾ ਹੈ ਜੋ OpenAI ਦੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਇਸਨੂੰ ਰੋਕਣ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਲਈ ਨਾ ਵਰਤੀ ਜਾਵੇ। ਇਹ ਤੁਹਾਨੂੰ ਸਰਚ ਜਵਾਬਾਂ ਤੋਂ ਨਹੀਂ ਹਟਾਉਂਦਾ।
  • ChatGPT-User ਉਦੋਂ ਪੰਨਾ ਖੋਲ੍ਹਦਾ ਹੈ ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ ChatGPT ਨੂੰ ਕਹਿੰਦਾ ਹੈ, ਮਿਸਾਲ ਵਜੋਂ ਲਿੰਕ ਪੇਸਟ ਕਰਕੇ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਯੂਜ਼ਰ ਵੱਲੋਂ ਸ਼ੁਰੂ ਕੀਤੀਆਂ ਇਨ੍ਹਾਂ ਵਿਜ਼ਿਟਾਂ 'ਤੇ robots.txt ਨਿਯਮ ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਣ, ਅਤੇ ਇਹ ਏਜੰਟ ਇਹ ਤੈਅ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ ਕਿ ਸਮੱਗਰੀ ਸਰਚ ਵਿੱਚ ਆਵੇ ਜਾਂ ਨਹੀਂ।

ਤਾਂ ਸੰਖੇਪ ਵਿੱਚ: OAI-SearchBot ਹਵਾਲੇ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ, GPTBot ਸਿਖਲਾਈ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ, ਅਤੇ ChatGPT-User ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਾਈਵ ਵਿਜ਼ਿਟਾਂ ਸੰਭਾਲਦਾ ਹੈ।

ਮੈਂ ChatGPT ਲਈ ਆਪਣੀ robots.txt ਕਿਵੇਂ ਜਾਂਚਾਂ?

ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ https://yourdomain.com/robots.txt ਖੋਲ੍ਹੋ। ਅਜਿਹਾ ਗਰੁੱਪ ਲੱਭੋ ਜੋ OAI-SearchBot ਦਾ ਨਾਮ ਲੈਂਦਾ ਹੋਵੇ। ਜੇ ਅਜਿਹਾ ਕੋਈ ਨਹੀਂ, ਤਾਂ ਕ੍ਰੌਲਰ User-agent: * ਗਰੁੱਪ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ। ਜੋ ਵੀ ਗਰੁੱਪ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਉਸ ਵਿੱਚ Disallow: / ਪੂਰੀ ਸਾਈਟ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ।

ਇਹ ਵੀ ਜਾਂਚੋ ਕਿ ਫਾਈਲ ਜਵਾਬ ਦਿੰਦੀ ਵੀ ਹੈ। RFC 9309 ਮੁਤਾਬਕ, ਜੇ robots.txt ਸਰਵਰ ਗਲਤੀ (5xx) ਦਿੰਦੀ ਹੈ ਜਾਂ ਉਸ ਤੱਕ ਪਹੁੰਚ ਨਹੀਂ ਹੁੰਦੀ, ਤਾਂ ਕ੍ਰੌਲਰ ਨੂੰ ਮੰਨਣਾ ਪੈਂਦਾ ਹੈ ਕਿ ਪੂਰੀ ਸਾਈਟ ਰੋਕੀ ਹੋਈ ਹੈ। 404 ਠੀਕ ਹੈ: ਇਸਦਾ ਮਤਲਬ ਹੈ ਕੋਈ ਨਿਯਮ ਨਹੀਂ। robots.txt ਦੇ ਪਤੇ 'ਤੇ ਸਥਿਤੀ 200 ਨਾਲ HTML ਪੰਨਾ ਆਉਣਾ ਆਮ ਗਲਤੀ ਹੈ, ਕਿਉਂਕਿ ਫਿਰ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਸ ਵਿੱਚ ਕੋਈ ਵੈਧ ਨਿਯਮ ਨਹੀਂ ਮਿਲਦਾ।

ਅਜਿਹਾ ਸੈੱਟਅੱਪ ਜੋ ChatGPT ਸਰਚ ਵਿੱਚ ਰੱਖਦਾ ਹੈ ਅਤੇ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਕਰਦਾ ਹੈ, ਇਸ ਤਰ੍ਹਾਂ ਦਿਸਦਾ ਹੈ:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ robots.txt ਅੱਪਡੇਟ ਕਰਨ ਤੋਂ ਬਾਅਦ ਸਰਚ ਲਈ ਬਦਲਾਅ ਲਾਗੂ ਹੋਣ ਵਿੱਚ ਲਗਭਗ 24 ਘੰਟੇ ਲੱਗ ਸਕਦੇ ਹਨ।

ਕੀ robots.txt ਇਜਾਜ਼ਤ ਦੇਵੇ ਤਾਂ ਵੀ ਫਾਇਰਵਾਲ ChatGPT ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ?

ਹਾਂ, ਅਤੇ ਇਹ ਆਮ ਕਾਰਨ ਹੈ। robots.txt ਚੰਗਾ ਵਿਹਾਰ ਕਰਨ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇੱਕ ਬੇਨਤੀ ਹੈ, ਪਹੁੰਚ ਕੰਟਰੋਲ ਨਹੀਂ। ਅਸਲ ਵਿੱਚ ਕੀ ਵਾਪਸ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ, ਇਹ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ, CDN ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ ਤੈਅ ਕਰਦੀ ਹੈ। ਜੇ ਉਹ ਕਿਸੇ AI ਕ੍ਰੌਲਰ ਨੂੰ ਅਣਚਾਹਿਆ ਬੋਟ ਸਮਝਦੀ ਹੈ, ਤਾਂ ਕ੍ਰੌਲਰ ਨੂੰ 403, 429 ਜਾਂ Cloudflare ਦੀ "Just a moment..." ਸਕ੍ਰੀਨ ਵਰਗਾ ਚੈਲੰਜ ਪੰਨਾ ਮਿਲਦਾ ਹੈ, ਜਦਕਿ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਲੋਕ ਪੰਨਾ ਆਮ ਵਾਂਗ ਦੇਖਦੇ ਹਨ।

ਬਾਹਰੋਂ ਇਹ ਅਜਿਹੀ ਸਾਈਟ ਲੱਗਦੀ ਹੈ ਜੋ ਸਾਰਿਆਂ ਲਈ ਖੁੱਲ੍ਹੀ ਹੈ। ਸਿਰਫ਼ ਉਹ ਬੇਨਤੀ ਜੋ ਆਪਣੇ ਆਪ ਨੂੰ ਕ੍ਰੌਲਰ ਵਜੋਂ ਪੇਸ਼ ਕਰਦੀ ਹੈ, ਫ਼ਰਕ ਦਿਖਾਉਂਦੀ ਹੈ। ਇਸ ਹਾਲਤ ਵਿੱਚ robots.txt ਹਾਂ ਕਹਿੰਦੀ ਹੈ, ਸਰਵਰ ਨਾਂਹ ਕਹਿੰਦਾ ਹੈ, ਅਤੇ ਸਰਵਰ ਦੀ ਗੱਲ ਚੱਲਦੀ ਹੈ।

ਮੈਂ ਕਿਵੇਂ ਟੈਸਟ ਕਰਾਂ ਕਿ OAI-SearchBot ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ?

ਇੱਕੋ URL 'ਤੇ ਦੋ ਬੇਨਤੀਆਂ ਭੇਜੋ, ਇੱਕ ਬ੍ਰਾਊਜ਼ਰ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਅਤੇ ਇੱਕ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ, ਅਤੇ ਸਥਿਤੀ ਕੋਡ ਅਤੇ ਆਕਾਰ ਦੀ ਤੁਲਨਾ ਕਰੋ। OpenAI ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਮਿਸਾਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ; ਉਸ ਵਿਚਲਾ ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦਾ ਹੈ।

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

ਜੇ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਵੱਡੀ ਸਮੱਗਰੀ ਨਾਲ 200 ਮਿਲਦਾ ਹੈ ਅਤੇ ਕ੍ਰੌਲਰ ਨੂੰ 403, 429, 503 ਜਾਂ ਕਾਫ਼ੀ ਛੋਟੀ ਸਮੱਗਰੀ, ਤਾਂ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਕ੍ਰੌਲਰ ਨਾਲ ਵੱਖਰਾ ਵਿਹਾਰ ਕਰ ਰਹੀ ਹੈ। ਇੱਕ ਸੀਮਾ ਹੈ: ਤੁਹਾਡਾ ਟੈਸਟ ਤੁਹਾਡੇ ਆਪਣੇ IP ਪਤੇ ਤੋਂ ਆਉਂਦਾ ਹੈ, OpenAI ਦੇ ਨਹੀਂ। ਜੋ ਫਾਇਰਵਾਲਾਂ ਕ੍ਰੌਲਰਾਂ ਦੀ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਪੁਸ਼ਟੀ ਕਰਦੀਆਂ ਹਨ (OpenAI ਉਨ੍ਹਾਂ ਨੂੰ openai.com/searchbot.json 'ਤੇ ਦਿੰਦਾ ਹੈ), ਉਹ ਤੁਹਾਡਾ ਟੈਸਟ ਬਲੌਕ ਕਰਦਿਆਂ ਵੀ ਅਸਲ ਕ੍ਰੌਲਰ ਨੂੰ ਲੰਘਣ ਦੇ ਸਕਦੀਆਂ ਹਨ। ਫਿਰ ਵੀ ਇਸ ਟੈਸਟ ਵਿੱਚ ਬਲੌਕ ਦੱਸਦਾ ਹੈ ਕਿ ਫਾਇਰਵਾਲ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦੀ ਹੈ, ਜੋ ਠੀਕ ਕਰਨ ਯੋਗ ਹੈ।

ਜੇ ਪੰਨਾ ਲੋਡ ਹੁੰਦਾ ਹੈ ਪਰ ChatGPT ਫਿਰ ਵੀ ਕੁਝ ਕੰਮ ਦਾ ਨਹੀਂ ਦੱਸਦਾ ਤਾਂ?

ਪਹੁੰਚ ਸਿਰਫ਼ ਪਹਿਲਾ ਕਦਮ ਹੈ। ਜੇ ਪਹੁੰਚਣ ਵਾਲਾ HTML ਇੱਕ ਖਾਲੀ ਢਾਂਚਾ ਹੈ ਜੋ ਬਾਅਦ ਵਿੱਚ JavaScript ਭਰਦੀ ਹੈ, ਤਾਂ ਕ੍ਰੌਲਰ ਨੂੰ ਲਗਭਗ ਕੋਈ ਟੈਕਸਟ ਨਹੀਂ ਮਿਲਦਾ। curl ਜਾਂ ਆਪਣੇ ਬ੍ਰਾਊਜ਼ਰ ਦੇ view-source ਨਾਲ ਕੱਚਾ HTML ਦੇਖੋ: ਜੇ ਮੁੱਖ ਟੈਕਸਟ ਉੱਥੇ ਨਹੀਂ, ਤਾਂ ਸ਼ਾਇਦ ਕ੍ਰੌਲਰ ਵੀ ਉਸਨੂੰ ਨਹੀਂ ਦੇਖਦਾ।

ਉਸ ਤੋਂ ਬਾਅਦ ਸਮੱਗਰੀ ਦੇ ਸੰਕੇਤ ਆਉਂਦੇ ਹਨ: ਪੰਨੇ ਦੇ ਸਿਖਰ ਨੇੜੇ ਸਾਫ਼ ਛੋਟਾ ਜਵਾਬ, ਲੋਕਾਂ ਦੇ ਸਵਾਲਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਸਿਰਲੇਖ, ਪ੍ਰਕਾਸ਼ਕ ਅਤੇ ਲੇਖਕ ਦਾ ਨਾਮ, ਅਤੇ ਦਿਸਦੀਆਂ ਤਾਰੀਖਾਂ। ਇਹ ਹਵਾਲੇ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਦਿੰਦੇ, ਪਰ ਪੰਨੇ ਦਾ ਸਹੀ ਹਵਾਲਾ ਦੇਣਾ ਆਸਾਨ ਬਣਾਉਂਦੇ ਹਨ।

AISeeWhy ਇਹ ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ?

AISeeWhy ਤੁਹਾਡਾ ਪੰਨਾ ਇੱਕ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ-ਨਾਲ OAI-SearchBot, GPTBot, ChatGPT-User ਅਤੇ 11 ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆਉਂਦਾ ਹੈ, ਤੁਹਾਡੀ robots.txt ਨੂੰ RFC 9309 ਨਿਯਮਾਂ ਮੁਤਾਬਕ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਜਦੋਂ ਕੋਈ ਫਾਇਰਵਾਲ ਬਲੌਕ ਜਾਂ ਚੈਲੰਜ ਨਾਲ ਜਵਾਬ ਦਿੰਦੀ ਹੈ ਤਾਂ ਉਸਦਾ ਨਾਮ ਦੱਸਦਾ ਹੈ। ਹਰ ਖੋਜ ਨਾਲ ਪੇਸਟ ਕਰਨ ਲਈ ਹੱਲ ਮਿਲਦਾ ਹੈ, ਅਤੇ ਮੁਫ਼ਤ ਜਾਂਚ ਤੁਹਾਡਾ ਸਕੋਰ ਅਤੇ ਪਹਿਲੀ ਖੋਜ ਦਿਖਾਉਂਦੀ ਹੈ।

ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਸਰੋਤ

ਹੋਰ ਲੇਖ

ਪ੍ਰਕਾਸ਼ਿਤ · ਅੱਪਡੇਟ ਕੀਤਾ