Claude-SearchBot
Claude-SearchBot Claude ਵਿੱਚ ਸਰਚ ਨਤੀਜਿਆਂ ਦੀ ਪ੍ਰਸੰਗਿਕਤਾ ਅਤੇ ਸਟੀਕਤਾ ਸੁਧਾਰਨ ਲਈ ਵੈੱਬ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਰਚ ਲਈ ਇੰਡੈਕਸ ਨਹੀਂ ਹੁੰਦੀ, ਜੋ ਵਰਤੋਂਕਾਰਾਂ ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਅਤੇ ਸਟੀਕਤਾ ਘਟਾ ਸਕਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ Claude ਤੁਹਾਡੇ ਪੰਨੇ ਲੱਭੇ ਅਤੇ ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦੇਵੇ, ਤਾਂ ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: Claude-SearchBot
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: Claude-SearchBot
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
Anthropic ਵੈੱਬ 'ਤੇ ਘੁੰਮਣ ਅਤੇ Claude ਵਰਤੋਂਕਾਰਾਂ ਲਈ ਸਰਚ ਨਤੀਜਿਆਂ ਦੀ ਗੁਣਵੱਤਾ ਸੁਧਾਰਨ ਲਈ Claude-SearchBot ਵਰਤਦਾ ਹੈ। ਇਹ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ClaudeBot ਤੋਂ ਵੱਖਰਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੇ ਹੋਏ ਸਰਚ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਸਕਦੇ ਹੋ।
Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ Claude-SearchBot ਨੂੰ ਬੰਦ ਕਰਨ ਨਾਲ ਸਰਚ ਸੁਧਾਰ ਲਈ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਇੰਡੈਕਸ ਨਹੀਂ ਹੁੰਦੀ, ਜੋ ਵਰਤੋਂਕਾਰਾਂ ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤੁਹਾਡੀ ਸਾਈਟ ਦੀ ਦਿੱਖ ਅਤੇ ਸਟੀਕਤਾ ਘਟਾ ਸਕਦਾ ਹੈ। Anthropic ਦੇ ਬੋਟ robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ ਅਤੇ ਰੋਕ ਦੇ ਉਪਾਵਾਂ ਦਾ ਸਤਿਕਾਰ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ CAPTCHA ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਫੇਰੀ ਖ਼ਤਮ ਕਰ ਦਿੰਦਾ ਹੈ।
ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 12.9% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →
robots.txt ਟੋਕਨ
Claude-SearchBot
ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
Anthropic ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਦੇ IP ਪਤੇ claude.com/crawling/bots.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਜਿਸ ਕ੍ਰੌਲਰ ਦਾ IP ਉਸ ਸੂਚੀ ਵਿੱਚ ਹੈ ਉਹ Anthropic ਤੋਂ ਆਉਂਦਾ ਹੈ। ਯੂਜ਼ਰ ਏਜੰਟ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਥਾਂ ਸਰੋਤ IP ਨੂੰ ਸੂਚੀ ਨਾਲ ਮਿਲਾਓ। Anthropic ਬਾਹਰ ਰਹਿਣ ਲਈ IP ਬਲੌਕਿੰਗ ਵਰਤਣ ਦੀ ਸਲਾਹ ਨਹੀਂ ਦਿੰਦਾ, ਕਿਉਂਕਿ ਇਹ ਕ੍ਰੌਲਰ ਨੂੰ robots.txt ਪੜ੍ਹਨ ਤੋਂ ਵੀ ਰੋਕਦੀ ਹੈ।
ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →
Anthropic ਦੇ ਕ੍ਰੌਲਰ: ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User →