OAI-SearchBot
OAI-SearchBot OpenAI ਦਾ ਸਰਚ ਕ੍ਰੌਲਰ ਹੈ। ਇਹ ChatGPT ਦੇ ਸਰਚ ਫੀਚਰਾਂ ਵਿੱਚ ਵੈੱਬਸਾਈਟਾਂ ਦਿਖਾਉਂਦਾ ਹੈ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ OAI-SearchBot ਤੋਂ ਬਾਹਰ ਰਹਿਣ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਈਆਂ ਜਾਣਗੀਆਂ, ਭਾਵੇਂ ਉਹ ਨੈਵੀਗੇਸ਼ਨ ਲਿੰਕਾਂ ਵਜੋਂ ਦਿਸ ਸਕਦੀਆਂ ਹਨ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ChatGPT ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਦਾ ਹਵਾਲਾ ਦੇਵੇ, ਤਾਂ ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: OAI-SearchBot
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: OAI-SearchBot
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
OpenAI ChatGPT ਦੇ ਸਰਚ ਫੀਚਰਾਂ ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਵੈੱਬਸਾਈਟਾਂ ਦਿਖਾਉਣ ਲਈ OAI-SearchBot ਵਰਤਦਾ ਹੈ। ਇਹ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨਹੀਂ: ਮਾਡਲ ਸਿਖਲਾਈ ਵੱਖਰੇ ਤੌਰ 'ਤੇ GPTBot ਰਾਹੀਂ ਕੰਟਰੋਲ ਹੁੰਦੀ ਹੈ।
OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ OAI-SearchBot ਤੋਂ ਬਾਹਰ ਰਹਿਣ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਨਹੀਂ ਦਿਖਾਈਆਂ ਜਾਣਗੀਆਂ, ਭਾਵੇਂ ਉਹ ਨੈਵੀਗੇਸ਼ਨ ਲਿੰਕਾਂ ਵਜੋਂ ਦਿਸ ਸਕਦੀਆਂ ਹਨ। robots.txt ਅੱਪਡੇਟ ਤੋਂ ਬਾਅਦ OpenAI ਦੇ ਸਿਸਟਮਾਂ ਨੂੰ ਬਦਲਾਅ ਅਪਣਾਉਣ ਵਿੱਚ ਲਗਭਗ 24 ਘੰਟੇ ਲੱਗ ਸਕਦੇ ਹਨ।
ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 11.2% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →
robots.txt ਟੋਕਨ
OAI-SearchBot
ਯੂਜ਼ਰ ਏਜੰਟ string
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
OpenAI ਇਸ ਏਜੰਟ ਦੀਆਂ ਵਰਤੀਆਂ IP ਰੇਂਜਾਂ JSON ਫਾਈਲ ਵਜੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਬੇਨਤੀ ਦੇ ਸਰੋਤ IP ਨੂੰ ਉਨ੍ਹਾਂ ਰੇਂਜਾਂ ਨਾਲ ਮਿਲਾਓ; ਜਿਹੜੀ ਬੇਨਤੀ ਆਪਣਾ ਨਾਮ OAI-SearchBot ਦੱਸਦੀ ਹੈ ਪਰ ਕਿਸੇ ਹੋਰ ਪਤੇ ਤੋਂ ਆਉਂਦੀ ਹੈ, ਉਹ OpenAI ਤੋਂ ਨਹੀਂ। OpenAI ਦੱਸਦਾ ਹੈ ਕਿ ਯੂਜ਼ਰ ਏਜੰਟ ਵਿਚਲਾ ਸੰਸਕਰਣ ਨੰਬਰ ਬਦਲ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਪੂਰੀ string ਦੀ ਥਾਂ OAI-SearchBot ਟੋਕਨ ਨਾਲ ਮਿਲਾਓ।