GPTBot
GPTBot OpenAI ਦਾ ਕ੍ਰੌਲਰ ਹੈ ਜੋ ਅਜਿਹੀ ਸਮੱਗਰੀ ਲਈ ਹੈ ਜੋ ਉਸਦੇ generative AI foundation models ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। robots.txt ਵਿੱਚ ਇਸਨੂੰ ਮਨ੍ਹਾ ਕਰਨਾ OpenAI ਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਲਈ ਨਾ ਵਰਤੀ ਜਾਵੇ। ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਨਹੀਂ ਹਟਦੇ, ਜੋ OAI-SearchBot 'ਤੇ ਨਿਰਭਰ ਹਨ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: GPTBot
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: GPTBot
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ GPTBot ਉਸਦੇ generative AI foundation models ਨੂੰ ਵਧੇਰੇ ਲਾਭਦਾਇਕ ਅਤੇ ਸੁਰੱਖਿਅਤ ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਅਜਿਹੀ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ ਜੋ ਉਨ੍ਹਾਂ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਵਿੱਚ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਅਤੇ GPTBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਨਾ ਦੱਸਦਾ ਹੈ ਕਿ ਸਾਈਟ ਦੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਵਿੱਚ ਨਹੀਂ ਵਰਤੀ ਜਾਣੀ ਚਾਹੀਦੀ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ ਜਾਂ ਨਹੀਂ, ਇਹ ਨੀਤੀ ਦਾ ਫ਼ੈਸਲਾ ਹੈ, ਦਿਸਣ ਦਾ ਨਹੀਂ। ChatGPT ਸਰਚ ਇੱਕ ਵੱਖਰਾ ਕ੍ਰੌਲਰ, OAI-SearchBot, ਵਰਤਦੀ ਹੈ, ਅਤੇ OpenAI ਦੋਵਾਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਸੁਤੰਤਰ ਦੱਸਦਾ ਹੈ। ਜਦੋਂ ਦੋਵਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਹੋਵੇ, ਤਾਂ OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਦੋ ਵਾਰ ਕ੍ਰੌਲ ਕਰਨ ਤੋਂ ਬਚਣ ਲਈ ਉਹ ਇੱਕ ਕ੍ਰੌਲ ਦੇ ਨਤੀਜੇ ਦੋਵਾਂ ਮਕਸਦਾਂ ਲਈ ਵਰਤ ਸਕਦਾ ਹੈ।
ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 21.4% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →
robots.txt ਟੋਕਨ
GPTBot
ਯੂਜ਼ਰ ਏਜੰਟ string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
OpenAI ਇਸ ਏਜੰਟ ਦੀਆਂ ਵਰਤੀਆਂ IP ਰੇਂਜਾਂ JSON ਫਾਈਲ ਵਜੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਬੇਨਤੀ ਦੇ ਸਰੋਤ IP ਨੂੰ ਉਨ੍ਹਾਂ ਰੇਂਜਾਂ ਨਾਲ ਮਿਲਾਓ; ਜਿਹੜੀ ਬੇਨਤੀ ਆਪਣਾ ਨਾਮ GPTBot ਦੱਸਦੀ ਹੈ ਪਰ ਕਿਸੇ ਹੋਰ ਪਤੇ ਤੋਂ ਆਉਂਦੀ ਹੈ, ਉਹ OpenAI ਤੋਂ ਨਹੀਂ। OpenAI ਦੱਸਦਾ ਹੈ ਕਿ ਯੂਜ਼ਰ ਏਜੰਟ ਵਿਚਲਾ ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਪੂਰੀ string ਦੀ ਥਾਂ GPTBot ਟੋਕਨ ਨਾਲ ਮਿਲਾਓ।