OpenAI ਦੇ ਕ੍ਰੌਲਰ: GPTBot, OAI-SearchBot ਅਤੇ ChatGPT-User
OpenAI GPTBot ਨੂੰ ਅਜਿਹੀ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਨ ਲਈ ਵਰਤਦਾ ਹੈ ਜੋ ਉਸਦੇ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਵਿੱਚ ਜਾ ਸਕਦੀ ਹੈ, OAI-SearchBot ਨੂੰ ChatGPT ਸਰਚ ਲਈ ਪੰਨੇ ਇੰਡੈਕਸ ਕਰਨ ਲਈ, ਅਤੇ ChatGPT-User ਨੂੰ ਉਨ੍ਹਾਂ ਵਿਜ਼ਿਟਾਂ ਲਈ ਜੋ ਕੋਈ ਵਿਅਕਤੀ ਮੰਗਦਾ ਹੈ। GPTBot ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਹੁੰਦੇ ਹੋ। OAI-SearchBot ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਤੋਂ ਹਟ ਜਾਂਦੇ ਹੋ। ChatGPT-User 'ਤੇ robots.txt ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਵੇ।
ਇੱਕੋ ਕੰਪਨੀ ਦੇ ਤਿੰਨ ਵੱਖਰੇ ਯੂਜ਼ਰ ਏਜੰਟ, ਹਰ ਇੱਕ ਦਾ ਆਪਣਾ robots.txt ਟੋਕਨ, ਬਹੁਤ ਭੁਲੇਖਾ ਪਾਉਂਦੇ ਹਨ। GPTBot ਦੇ ਆਉਣ 'ਤੇ ਬਹੁਤ ਸਾਰੀਆਂ ਸਾਈਟਾਂ ਨੇ ਉਸਨੂੰ ਬਲੌਕ ਕਰ ਦਿੱਤਾ, ਅਤੇ ਕੁਝ ਨੂੰ ਬਾਅਦ ਵਿੱਚ ਪਤਾ ਲੱਗਾ ਕਿ ਉਨ੍ਹਾਂ ਨੇ ਉਹ ਕ੍ਰੌਲਰ ਵੀ ਬਲੌਕ ਕਰ ਦਿੱਤਾ ਸੀ ਜੋ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ChatGPT ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦੇ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਕਸਰ ਕਿਸੇ ਵਿਆਪਕ ਫਾਇਰਵਾਲ ਨਿਯਮ ਰਾਹੀਂ। ਇਹ ਲੇਖ OpenAI ਦੇ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਹਰ ਏਜੰਟ ਨੂੰ ਸਮਝਾਉਂਦਾ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
GPTBot ਕੀ ਕਰਦਾ ਹੈ?
GPTBot ਅਜਿਹੀ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ ਜੋ OpenAI ਦੇ ਜਨਰੇਟਿਵ AI ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। OpenAI ਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ GPTBot ਨੂੰ ਰੋਕਣਾ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਸਾਈਟ ਦੀ ਸਮੱਗਰੀ ਉਨ੍ਹਾਂ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਵਿੱਚ ਨਾ ਵਰਤੀ ਜਾਵੇ।
ਇਸਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਵਿੱਚ GPTBot ਟੋਕਨ ਹੁੰਦਾ ਹੈ, ਮਿਸਾਲ ਵਜੋਂ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot। OpenAI ਦੱਸਦਾ ਹੈ ਕਿ ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਪੂਰੀ ਸਤਰ ਦੀ ਥਾਂ ਟੋਕਨ ਨਾਲ ਮੇਲ ਕਰੋ। OpenAI ਆਪਣੀਆਂ IP ਰੇਂਜਾਂ openai.com/gptbot.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ ਜਾਂ ਨਹੀਂ, ਇਹ ਨੀਤੀ ਦਾ ਫ਼ੈਸਲਾ ਹੈ। ਕੁਝ ਪ੍ਰਕਾਸ਼ਕ ਆਪਣੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਡਾਟੇ ਵਿੱਚ ਚਾਹੁੰਦੇ ਹਨ, ਕੁਝ ਨਹੀਂ। ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਦਾ ChatGPT ਸਰਚ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ, ਕਿਉਂਕਿ ਉਹ ਵੱਖਰਾ ਕ੍ਰੌਲਰ ਹੈ। ਜੇ ਤੁਸੀਂ ਬਾਅਦ ਵਿੱਚ ਮਨ ਬਦਲੋ, ਤਾਂ Disallow ਲਾਈਨ ਹਟਾਉਣਾ ਕਾਫ਼ੀ ਹੈ; ਕੁਝ ਰਜਿਸਟਰ ਕਰਨ ਜਾਂ ਬੇਨਤੀ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ।
OAI-SearchBot ਕੀ ਕਰਦਾ ਹੈ?
OAI-SearchBot OpenAI ਦਾ ਸਰਚ ਕ੍ਰੌਲਰ ਹੈ। ਇਹ ChatGPT ਦੇ ਸਰਚ ਫੀਚਰਾਂ ਵਿੱਚ ਵੈੱਬਸਾਈਟਾਂ ਦਿਖਾਉਂਦਾ ਹੈ। OpenAI ਸਾਫ਼ ਕਹਿੰਦਾ ਹੈ ਕਿ OAI-SearchBot ਤੋਂ ਬਾਹਰ ਹੋਈਆਂ ਸਾਈਟਾਂ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਈਆਂ ਜਾਣਗੀਆਂ।
ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ChatGPT ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਦਾ ਹਵਾਲਾ ਦੇਵੇ, ਤਾਂ ਇਸੇ ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ, robots.txt ਵਿੱਚ ਵੀ ਅਤੇ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਵਿੱਚ ਵੀ। ਇਸਦੀਆਂ IP ਰੇਂਜਾਂ openai.com/searchbot.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਹਨ, ਜਿਸ ਨਾਲ ਫਾਇਰਵਾਲ ਪੁਸ਼ਟੀ ਕਰ ਸਕਦੀ ਹੈ ਕਿ ਬੇਨਤੀ ਸੱਚਮੁੱਚ OpenAI ਤੋਂ ਆਈ ਹੈ।
ChatGPT-User ਕੀ ਕਰਦਾ ਹੈ?
ChatGPT-User ਆਮ ਅਰਥਾਂ ਵਿੱਚ ਕ੍ਰੌਲਰ ਨਹੀਂ ਹੈ। ਇਹ ਉਦੋਂ ਪੰਨਾ ਲਿਆਉਂਦਾ ਹੈ ਜਦੋਂ ਕੋਈ ChatGPT ਯੂਜ਼ਰ ਜਾਂ Custom GPT ਉਸਨੂੰ ਮੰਗਦਾ ਹੈ, ਮਿਸਾਲ ਵਜੋਂ ਜਦੋਂ ਕੋਈ ਤੁਹਾਡਾ URL ਚੈਟ ਵਿੱਚ ਪੇਸਟ ਕਰਕੇ ਸਾਰ ਮੰਗਦਾ ਹੈ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਵੈੱਬ ਦੀ ਸਵੈਚਲਿਤ ਕ੍ਰੌਲਿੰਗ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ।
ਇੱਥੇ OpenAI ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀਆਂ ਦੋ ਗੱਲਾਂ ਅਹਿਮ ਹਨ। ਪਹਿਲੀ, ਕਿਉਂਕਿ ਇਹ ਕਾਰਵਾਈਆਂ ਯੂਜ਼ਰ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ, robots.txt ਨਿਯਮ ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਣ। ਦੂਜੀ, ChatGPT-User ਇਹ ਤੈਅ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ ਕਿ ਸਮੱਗਰੀ ਸਰਚ ਵਿੱਚ ਆ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ। ਸਰਚ ਲਈ OAI-SearchBot ਦੀ ਸੈਟਿੰਗ ਹੀ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ।
ਹਰ ਇੱਕ ਨੂੰ ਬਲੌਕ ਕਰਨ 'ਤੇ ਕੀ ਹੁੰਦਾ ਹੈ?
GPTBotਬਲੌਕ ਕਰੋ: ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਨੂੰ ਸਿਖਲਾਈ ਲਈ ਨਾ ਵਰਤਣ ਵਜੋਂ ਨਿਸ਼ਾਨਬੱਧ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਜੇOAI-SearchBotਨੂੰ ਇਜਾਜ਼ਤ ਹੈ ਤਾਂ ChatGPT ਸਰਚ ਫਿਰ ਵੀ ਤੁਹਾਨੂੰ ਦਿਖਾ ਅਤੇ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦੇ ਸਕਦੀ ਹੈ।OAI-SearchBotਬਲੌਕ ਕਰੋ: ਤੁਹਾਡੇ ਪੰਨੇ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਏ ਜਾਣਗੇ। ਸਿਖਲਾਈ ਵੱਖਰੇ ਤੌਰ 'ਤੇGPTBotਨਾਲ ਕੰਟਰੋਲ ਹੁੰਦੀ ਹੈ।- robots.txt ਵਿੱਚ
ChatGPT-Userਬਲੌਕ ਕਰੋ: OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਨ੍ਹਾਂ ਵਿਜ਼ਿਟਾਂ 'ਤੇ robots.txt ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਵੇ, ਇਸ ਲਈ ਅਸਰ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ। ਫਾਇਰਵਾਲ 'ਤੇ ਬਲੌਕ ਕਰਨ ਨਾਲ ਪੰਨਾ ਲਿਆਉਣਾ ਰੁਕ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਤੁਹਾਡਾ ਲਿੰਕ ਪੇਸਟ ਕਰਨ ਵਾਲੇ ਯੂਜ਼ਰਾਂ ਨੂੰ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਦੀ ਥਾਂ ਗਲਤੀ ਮਿਲਦੀ ਹੈ। - ਤਿੰਨਾਂ ਨੂੰ ਫਾਇਰਵਾਲ 'ਤੇ ਬਲੌਕ ਕਰੋ: ChatGPT ਤੁਹਾਡੇ ਪੰਨੇ ਨਾ ਇੰਡੈਕਸ ਕਰ ਸਕਦਾ ਹੈ ਨਾ ਲਿਆ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਉਸ ਕੋਲ ਹਵਾਲਾ ਦੇਣ ਲਈ ਤੁਹਾਡਾ ਕੁਝ ਨਹੀਂ ਹੁੰਦਾ।
- ਤਿੰਨਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ: ਤੁਹਾਡੇ ਪੰਨੇ ਸਰਚ ਲਈ ਇੰਡੈਕਸ ਹੋ ਸਕਦੇ ਹਨ, ਬੇਨਤੀ 'ਤੇ ਲਿਆਏ ਜਾ ਸਕਦੇ ਹਨ ਅਤੇ,
GPTBotਰਾਹੀਂ, ਸਿਖਲਾਈ ਲਈ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ।
OpenAI ਇਹ ਵੀ ਦੱਸਦਾ ਹੈ ਕਿ ਜਦੋਂ GPTBot ਅਤੇ OAI-SearchBot ਦੋਵਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਹੋਵੇ, ਤਾਂ ਉਹ ਦੋ ਵਾਰ ਕ੍ਰੌਲ ਕਰਨ ਤੋਂ ਬਚਣ ਲਈ ਇੱਕ ਕ੍ਰੌਲ ਦੇ ਨਤੀਜੇ ਦੋਵਾਂ ਕੰਮਾਂ ਲਈ ਵਰਤ ਸਕਦਾ ਹੈ।
OpenAI ਦੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਮੈਨੂੰ ਕਿਹੜੀ robots.txt ਵਰਤਣੀ ਚਾਹੀਦੀ ਹੈ?
ChatGPT ਦੇ ਜਵਾਬਾਂ ਵਿੱਚ ਆਉਣਾ ਚਾਹੁਣ ਵਾਲੀਆਂ ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਲਈ: ਸਰਚ ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ ਅਤੇ ਸਿਖਲਾਈ ਬਾਰੇ ਵੱਖਰਾ ਫ਼ੈਸਲਾ ਕਰੋ। ਇਹ ਫਾਈਲ ਸਰਚ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਅਤੇ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਕਰਦੀ ਹੈ:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309 ਦੀ ਇੱਕ ਗੱਲ ਧਿਆਨ ਵਿੱਚ ਰੱਖੋ: ਕ੍ਰੌਲਰ ਉਸ ਗਰੁੱਪ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ ਜੋ ਉਸਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ ਅਤੇ * ਗਰੁੱਪ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ। ਉੱਪਰਲੀ ਮਿਸਾਲ ਵਿੱਚ OAI-SearchBot ਨੂੰ /admin/ ਵਿੱਚ ਜਾਣ ਦੀ ਇਜਾਜ਼ਤ ਹੋਵੇਗੀ ਕਿਉਂਕਿ ਉਸਦੇ ਆਪਣੇ ਗਰੁੱਪ ਵਿੱਚ Disallow: /admin/ ਲਾਈਨ ਨਹੀਂ। ਜੋ paths ਤੁਸੀਂ ਨਿੱਜੀ ਰੱਖਣੇ ਚਾਹੁੰਦੇ ਹੋ, ਉਨ੍ਹਾਂ ਨੂੰ ਹਰ ਨਾਮ ਵਾਲੇ ਗਰੁੱਪ ਵਿੱਚ ਦੁਹਰਾਓ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਸਰਚ ਦੇ ਬਦਲਾਅ ਲਾਗੂ ਹੋਣ ਵਿੱਚ ਲਗਭਗ 24 ਘੰਟੇ ਲੱਗ ਸਕਦੇ ਹਨ।
ਮੈਂ ਕਿਵੇਂ ਪੁਸ਼ਟੀ ਕਰਾਂ ਕਿ ਫਾਇਰਵਾਲ ਉਨ੍ਹਾਂ ਨੂੰ ਲੰਘਣ ਦਿੰਦੀ ਹੈ?
robots.txt ਸਿਰਫ਼ ਤੁਹਾਡੀ ਨੀਤੀ ਦੱਸਦੀ ਹੈ। ਹਰ ਬੇਨਤੀ ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਦਾ ਹੈ, ਇਹ ਫਾਇਰਵਾਲ ਜਾਂ CDN ਤੈਅ ਕਰਦੀ ਹੈ। ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪੰਨਾ ਮੰਗੋ ਅਤੇ ਸਥਿਤੀ ਕੋਡ ਅਤੇ ਸਮੱਗਰੀ ਦੇ ਆਕਾਰ ਦੀ ਤੁਲਨਾ ਬ੍ਰਾਊਜ਼ਰ ਬੇਨਤੀ ਨਾਲ ਕਰੋ। ਕ੍ਰੌਲਰ ਲਈ 403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਅਤੇ ਬ੍ਰਾਊਜ਼ਰ ਲਈ ਆਮ ਪੰਨਾ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਫਾਇਰਵਾਲ ਤੁਹਾਡੀ robots.txt ਨੂੰ ਪਛਾੜ ਦਿੰਦੀ ਹੈ।
AISeeWhy ਇਹ ਤੁਲਨਾ OpenAI ਦੇ ਤਿੰਨਾਂ ਏਜੰਟਾਂ ਲਈ ਇੱਕੋ ਵਾਰ ਚਲਾਉਂਦਾ ਹੈ, OAI-SearchBot ਅਤੇ ChatGPT-User ਦੇ ਬਲੌਕਾਂ ਨੂੰ P1 ਦਰਜਾ ਦਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਉਨ੍ਹਾਂ ਨਾਲ ਹਵਾਲੇ ਗੁਆਚਦੇ ਹਨ, ਅਤੇ ਬਲੌਕ ਹੋਏ GPTBot ਨੂੰ ਗਲਤੀ ਦੀ ਥਾਂ P3 ਨੀਤੀ ਚੋਣ ਵਜੋਂ ਦਿਖਾਉਂਦਾ ਹੈ।
ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
OpenAI ਦੇ ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ ਯੂਜ਼ਰ ਏਜੰਟ strings ਕੀ ਹਨ?
OpenAI ਦੇ ਦਸਤਾਵੇਜ਼ GPTBot ਲਈ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot ਲਈ compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot 'ਤੇ ਖ਼ਤਮ ਹੋਣ ਵਾਲੀ Chrome ਵਰਗੀ string, ਅਤੇ ChatGPT-User ਲਈ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot ਦਿੰਦੇ ਹਨ। ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦੇ ਹਨ, ਇਸ ਲਈ ਟੋਕਨ 'ਤੇ ਮੇਲ ਕਰੋ। IP ਰੇਂਜਾਂ openai.com/gptbot.json, openai.com/searchbot.json ਅਤੇ openai.com/chatgpt-user.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਹਨ; ਅਸਲ ਕ੍ਰੌਲਰ ਨੂੰ ਨਕਲ ਤੋਂ ਵੱਖ ਕਰਨ ਲਈ ਸਰੋਤ IP ਇਨ੍ਹਾਂ ਨਾਲ ਜਾਂਚੋ।
ਕੀ GPTBot ਅਤੇ ChatGPT ਇੱਕੋ ਚੀਜ਼ ਹਨ?
ਨਹੀਂ। GPTBot ਸਿਖਲਾਈ ਡਾਟੇ ਲਈ ਕ੍ਰੌਲਰ ਹੈ। ChatGPT ਸਰਚ OAI-SearchBot ਵਰਤਦੀ ਹੈ, ਅਤੇ ਯੂਜ਼ਰਾਂ ਵੱਲੋਂ ਮੰਗੀਆਂ ਲਾਈਵ ਵਿਜ਼ਿਟਾਂ ChatGPT-User ਤੋਂ ਆਉਂਦੀਆਂ ਹਨ।
ਕੀ ਮੈਂ ChatGPT ਸਰਚ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਕੇ ਸਿਖਲਾਈ ਬਲੌਕ ਕਰ ਸਕਦਾ ਹਾਂ?
ਹਾਂ। robots.txt ਵਿੱਚ OAI-SearchBot ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ ਅਤੇ GPTBot ਨੂੰ ਰੋਕੋ। OpenAI ਦੋਵਾਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਸੁਤੰਤਰ ਦੱਸਦਾ ਹੈ।
ਕੀ ਮੈਨੂੰ OpenAI ਨੂੰ IP ਪਤੇ ਨਾਲ ਬਲੌਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?
IP ਨਾਲ ਬਲੌਕ ਕਰਨ ਨਾਲ ਕ੍ਰੌਲਰ ਤੁਹਾਡੀ robots.txt ਨਹੀਂ ਪੜ੍ਹ ਸਕਦਾ ਅਤੇ ਤੁਹਾਡੀ ਨੀਤੀ ਬਦਲਣੀ ਔਖੀ ਹੋ ਜਾਂਦੀ ਹੈ। ਆਮ ਤੌਰ 'ਤੇ ਬਿਹਤਰ ਹੈ ਕਿ ਨੀਤੀ robots.txt ਵਿੱਚ ਦੱਸੋ ਅਤੇ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨੂੰ OpenAI ਦੇ ਕ੍ਰੌਲਰਾਂ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਵਰਤੋ, ਬਲੌਕ ਕਰਨ ਲਈ ਨਹੀਂ।
ਪੂਰੇ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਥਾਂ ਟੋਕਨ ਨਾਲ ਮੇਲ ਕਿਉਂ ਕਰੀਏ?
OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਵਿੱਚ ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦਾ ਹੈ, ਅਤੇ ਉਸਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਮਿਸਾਲੀ ਸਤਰਾਂ ਕ੍ਰੌਲਰਾਂ ਮੁਤਾਬਕ ਵੱਖਰੀਆਂ ਹਨ। GPTBot ਜਾਂ OAI-SearchBot ਨਾਲ ਮੇਲ ਕਰਨ ਵਾਲੇ ਨਿਯਮ ਅੱਪਡੇਟ ਤੋਂ ਬਾਅਦ ਵੀ ਕੰਮ ਕਰਦੇ ਰਹਿੰਦੇ ਹਨ; ਪੂਰੀ ਸਤਰ ਨਾਲ ਮੇਲ ਕਰਨ ਵਾਲੇ ਨਿਯਮ ਚੁੱਪਚਾਪ ਮੇਲ ਖਾਣਾ ਬੰਦ ਕਰ ਸਕਦੇ ਹਨ।