ClaudeBot

Anthropic · AI ਸਿਖਲਾਈ

ClaudeBot Anthropic ਦਾ ਕ੍ਰੌਲਰ ਹੈ ਜੋ ਅਜਿਹੀ ਵੈੱਬ ਸਮੱਗਰੀ ਲਈ ਹੈ ਜੋ ਉਸਦੇ generative AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। robots.txt ਵਿੱਚ ਇਸਨੂੰ ਮਨ੍ਹਾ ਕਰਨਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਾਈਟ ਦੀ ਭਵਿੱਖੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰੱਖੀ ਜਾਵੇ। ਸਿਰਫ਼ ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ Claude-SearchBot ਜਾਂ Claude-User ਨਹੀਂ ਰੁਕਦੇ, ਜੋ ਸਰਚ ਅਤੇ ਲਾਈਵ ਜਵਾਬਾਂ ਲਈ ਕੰਮ ਕਰਦੇ ਹਨ।

ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ

User-agent: ClaudeBot
Allow: /

ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ

User-agent: ClaudeBot
Disallow: /

ਇਹ ਕੀ ਕਰਦਾ ਹੈ

Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ClaudeBot ਅਜਿਹੀ ਵੈੱਬ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦਾ ਹੈ ਜੋ ਉਸਦੇ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾ ਸਕਦੀ ਹੈ, ਤਾਂ ਜੋ ਉਨ੍ਹਾਂ ਦੀ ਉਪਯੋਗਤਾ ਅਤੇ ਸੁਰੱਖਿਆ ਵਧਾਈ ਜਾ ਸਕੇ। ClaudeBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਨਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਾਈਟ ਦੀ ਭਵਿੱਖੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਡਾਟਾਸੈੱਟਾਂ ਤੋਂ ਬਾਹਰ ਰੱਖੀ ਜਾਵੇ।

Anthropic ਗੈਰ-ਮਿਆਰੀ Crawl-delay ਨਿਰਦੇਸ਼ ਦਾ ਵੀ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਦੀ ਥਾਂ ਹੌਲਾ ਕਰ ਸਕਦੇ ਹੋ। robots.txt ਵਿੱਚ ClaudeBot ਦਾ ਨਾਮ ਲੈਣ ਵਾਲੇ ਨਿਯਮ Anthropic ਦੇ ਆਮ no-AI-training ਸੰਕੇਤ ਨਾਲੋਂ ਪਹਿਲ ਲੈਂਦੇ ਹਨ। robots.txt ਨਿਯਮ ਹਰ ਹੋਸਟ 'ਤੇ ਵੱਖਰੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ, ਇਸ ਲਈ ਇਨ੍ਹਾਂ ਨੂੰ ਹਰ ਉਸ subdomain ਵਿੱਚ ਜੋੜੋ ਜਿਸਨੂੰ ਤੁਸੀਂ ਕਵਰ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ।

ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 21.2% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →

robots.txt ਟੋਕਨ

ClaudeBot

ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ

Anthropic ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਦੇ IP ਪਤੇ claude.com/crawling/bots.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਜਿਸ ਕ੍ਰੌਲਰ ਦਾ IP ਉਸ ਸੂਚੀ ਵਿੱਚ ਹੈ ਉਹ Anthropic ਤੋਂ ਆਉਂਦਾ ਹੈ। ਯੂਜ਼ਰ ਏਜੰਟ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਥਾਂ ਸਰੋਤ IP ਨੂੰ ਸੂਚੀ ਨਾਲ ਮਿਲਾਓ। Anthropic ਬਾਹਰ ਰਹਿਣ ਲਈ IP ਬਲੌਕਿੰਗ ਵਰਤਣ ਦੀ ਸਲਾਹ ਨਹੀਂ ਦਿੰਦਾ, ਕਿਉਂਕਿ ਇਹ ਕ੍ਰੌਲਰ ਨੂੰ robots.txt ਪੜ੍ਹਨ ਤੋਂ ਵੀ ਰੋਕਦੀ ਹੈ।

ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →

Anthropic ਦੇ ਕ੍ਰੌਲਰ: ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User →