Claude-User
Claude-User ਕਿਸੇ ਵੈੱਬਸਾਈਟ 'ਤੇ ਉਦੋਂ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਕੋਈ Claude ਵਰਤੋਂਕਾਰ ਅਜਿਹਾ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ ਜਿਸ ਲਈ ਇਸਦੀ ਲੋੜ ਹੋਵੇ, ਜਿਵੇਂ ਸਾਂਝਾ ਕੀਤਾ ਲਿੰਕ ਪੜ੍ਹਨਾ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ, ਅਤੇ Claude-User ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਵਰਤੋਂਕਾਰਾਂ ਦੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਵਿੱਚ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਪ੍ਰਾਪਤ ਨਹੀਂ ਹੁੰਦੀ, ਜੋ ਵਰਤੋਂਕਾਰ-ਨਿਰਦੇਸ਼ਿਤ ਵੈੱਬ ਸਰਚ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਘਟਾ ਸਕਦਾ ਹੈ।
ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ
User-agent: Claude-User
Allow: / ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ
User-agent: Claude-User
Disallow: / ਇਹ ਕੀ ਕਰਦਾ ਹੈ
Anthropic Claude ਵਰਤੋਂਕਾਰਾਂ ਦੀ ਮਦਦ ਲਈ Claude-User ਵਰਤਦਾ ਹੈ: ਜਦੋਂ ਕੋਈ Claude ਨੂੰ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ, ਤਾਂ ਇਹ ਜਵਾਬ ਦੇਣ ਲਈ ਕਿਸੇ ਵੈੱਬਸਾਈਟ 'ਤੇ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਵਰਤੋਂਕਾਰ ਵੱਲੋਂ ਵੱਖ-ਵੱਖ ਵਾਰ ਲਿਆਉਣਾ ਹੈ, ਆਮ ਕ੍ਰੌਲ ਨਹੀਂ।
OpenAI ਅਤੇ Perplexity ਤੋਂ ਉਲਟ, ਜੋ ਕਹਿੰਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਵਰਤੋਂਕਾਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣ ਵਾਲੇ ਬੋਟ robots.txt ਦੀ ਪਾਲਣਾ ਨਹੀਂ ਕਰ ਸਕਦੇ, Anthropic ਦੱਸਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ robots.txt ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ ਅਤੇ ਉੱਥੇ Claude-User ਨੂੰ ਬਲੌਕ ਕਰਨ ਦਾ ਤਰੀਕਾ ਦੱਸਦਾ ਹੈ। ਅਜਿਹਾ ਕਰਨ ਨਾਲ ਵਰਤੋਂਕਾਰਾਂ ਦੇ ਪੁੱਛਣ 'ਤੇ Claude ਤੁਹਾਡੇ ਪੰਨੇ ਪ੍ਰਾਪਤ ਨਹੀਂ ਕਰ ਸਕਦਾ।
ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 13.1% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →
robots.txt ਟੋਕਨ
Claude-User
ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ
Anthropic ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਦੇ IP ਪਤੇ claude.com/crawling/bots.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਜਿਸ ਕ੍ਰੌਲਰ ਦਾ IP ਉਸ ਸੂਚੀ ਵਿੱਚ ਹੈ ਉਹ Anthropic ਤੋਂ ਆਉਂਦਾ ਹੈ। ਯੂਜ਼ਰ ਏਜੰਟ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਥਾਂ ਸਰੋਤ IP ਨੂੰ ਸੂਚੀ ਨਾਲ ਮਿਲਾਓ। Anthropic ਬਾਹਰ ਰਹਿਣ ਲਈ IP ਬਲੌਕਿੰਗ ਵਰਤਣ ਦੀ ਸਲਾਹ ਨਹੀਂ ਦਿੰਦਾ, ਕਿਉਂਕਿ ਇਹ ਕ੍ਰੌਲਰ ਨੂੰ robots.txt ਪੜ੍ਹਨ ਤੋਂ ਵੀ ਰੋਕਦੀ ਹੈ।
ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →
Anthropic ਦੇ ਕ੍ਰੌਲਰ: ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User →