Anthropic ਦੇ ਕ੍ਰੌਲਰ: ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User
Anthropic ਤਿੰਨ ਏਜੰਟ ਚਲਾਉਂਦਾ ਹੈ: ClaudeBot ਅਜਿਹੀ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦਾ ਹੈ ਜੋ ਉਸਦੇ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਵਿੱਚ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ, Claude-SearchBot Claude ਦੇ ਸਰਚ ਨਤੀਜੇ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਅਤੇ Claude-User ਉਦੋਂ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿਸੇ Claude ਯੂਜ਼ਰ ਦੇ ਸਵਾਲ ਲਈ ਲੋੜ ਹੋਵੇ। ਹਰੇਕ ਦਾ ਆਪਣਾ robots.txt ਟੋਕਨ ਹੈ, ਅਤੇ Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਤਿੰਨੇ robots.txt ਨੂੰ ਮੰਨਦੇ ਹਨ। ਸਿਰਫ਼ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਸਰਚ ਜਾਂ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨਹੀਂ ਰੁਕਦੀਆਂ।
Anthropic ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਬਾਰੇ ਇੱਕੋ ਮਦਦ ਪੰਨੇ 'ਤੇ ਦੱਸਦਾ ਹੈ, ਅਤੇ ਢਾਂਚਾ ਹੋਰ AI ਵੈਂਡਰਾਂ ਵਰਗਾ ਹੀ ਹੈ: ਇੱਕ ਏਜੰਟ ਸਿਖਲਾਈ ਲਈ, ਇੱਕ ਸਰਚ ਲਈ ਅਤੇ ਇੱਕ ਯੂਜ਼ਰ ਵੱਲੋਂ ਲਾਈਵ ਬੇਨਤੀਆਂ ਲਈ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ Claude ਤੁਹਾਡੇ ਪੰਨੇ ਲੱਭ ਸਕੇ ਅਤੇ ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦੇ ਸਕੇ, ਤਾਂ ਆਖ਼ਰੀ ਦੋ ਸਭ ਤੋਂ ਅਹਿਮ ਹਨ।
ਇਸ ਪੰਨੇ 'ਤੇ
ClaudeBot ਕੀ ਕਰਦਾ ਹੈ?
ClaudeBot ਅਜਿਹੀ ਵੈੱਬ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦਾ ਹੈ ਜੋ Anthropic ਦੇ ਜਨਰੇਟਿਵ AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਵਿੱਚ ਕੰਮ ਆ ਸਕਦੀ ਹੈ। Anthropic ਮੁਤਾਬਕ, ਇਸਨੂੰ ਰੋਕਣਾ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਾਈਟ ਦੀ ਅੱਗੇ ਆਉਣ ਵਾਲੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਡਾਟਾਸੈੱਟਾਂ ਤੋਂ ਬਾਹਰ ਰੱਖੀ ਜਾਵੇ।
Anthropic ਇਹ ਵੀ ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ IETF ਦੇ ਖਰੜੇ 'ਤੇ ਆਧਾਰਿਤ, ਮਸ਼ੀਨ ਦੇ ਪੜ੍ਹਨਯੋਗ AI-ਸਿਖਲਾਈ-ਨਹੀਂ ਸੰਕੇਤ ਨੂੰ ਮੰਨਦਾ ਹੈ, ਅਤੇ robots.txt ਵਿੱਚ ClaudeBot ਦਾ ਨਾਂ ਲੈਣ ਵਾਲੇ ਨਿਯਮ ਉਸ ਆਮ ਸੈਟਿੰਗ ਤੋਂ ਉੱਪਰ ਰਹਿੰਦੇ ਹਨ। ਹੋਰ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਵਾਂਗ, ਇਸਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨੀਤੀ ਦੀ ਚੋਣ ਹੈ।
Claude-SearchBot ਕੀ ਕਰਦਾ ਹੈ?
Claude-SearchBot Claude ਵਿੱਚ ਸਰਚ ਨਤੀਜਿਆਂ ਦੀ ਢੁਕਵੀਂਤਾ ਅਤੇ ਸ਼ੁੱਧਤਾ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਵੈੱਬ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਰਚ ਲਈ ਇੰਡੈਕਸ ਨਹੀਂ ਹੁੰਦੀ, ਜਿਸ ਨਾਲ ਯੂਜ਼ਰਾਂ ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਅਤੇ ਸ਼ੁੱਧਤਾ ਘਟ ਸਕਦੀ ਹੈ।
ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਕਿਸੇ ਦੇ ਪੁੱਛਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ Claude ਦੇ ਸਰਚ ਫੀਚਰਾਂ ਨੂੰ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਬਾਰੇ ਪਤਾ ਹੋਵੇ, ਤਾਂ ਇਸੇ ਏਜੰਟ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ। ਕਿਉਂਕਿ ਇਹ ਸਰਚ ਕ੍ਰੌਲਰ ਹੈ, ਇਸਨੂੰ ਉਨ੍ਹਾਂ ਹੀ ਚੀਜ਼ਾਂ ਦਾ ਫ਼ਾਇਦਾ ਹੁੰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਦਾ ਕਿਸੇ ਵੀ ਸਰਚ ਕ੍ਰੌਲਰ ਨੂੰ: robots.txt ਵਿੱਚ ਦਿੱਤਾ ਸਾਈਟਮੈਪ, ਸਾਫ਼ ਅੰਦਰੂਨੀ ਲਿੰਕ, ਅਤੇ ਉਹ ਪੰਨੇ ਜੋ ਆਪਣੀ ਸਮੱਗਰੀ ਪਹਿਲੇ ਜਵਾਬ ਵਿੱਚ ਹੀ ਦਿੰਦੇ ਹਨ।
Claude-User ਕੀ ਕਰਦਾ ਹੈ?
Claude-User ਕਿਸੇ ਵੈੱਬਸਾਈਟ 'ਤੇ ਉਦੋਂ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਕੋਈ Claude ਯੂਜ਼ਰ ਅਜਿਹਾ ਸਵਾਲ ਪੁੱਛਦਾ ਹੈ ਜਿਸ ਲਈ ਇਸਦੀ ਲੋੜ ਹੋਵੇ, ਮਿਸਾਲ ਵਜੋਂ ਜਦੋਂ ਕੋਈ URL ਸਾਂਝਾ ਕਰਦਾ ਹੈ ਜਾਂ Claude ਨੂੰ ਕੁਝ ਲੱਭਣ ਲਈ ਕਹਿੰਦਾ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਯੂਜ਼ਰਾਂ ਦੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਵਿੱਚ ਪੰਨਾ ਲਿਆਉਣਾ ਰੁਕ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀ ਵੈੱਬ ਸਰਚ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਘਟ ਸਕਦੀ ਹੈ।
ਕੁਝ ਹੋਰ ਵੈਂਡਰਾਂ ਨਾਲੋਂ ਇੱਕ ਫ਼ਰਕ ਵੱਲ ਧਿਆਨ ਦਿਓ। Anthropic ਦੱਸਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ robots.txt ਦੀਆਂ ਹਦਾਇਤਾਂ ਨੂੰ ਮੰਨਦੇ ਹਨ, ਅਤੇ ਉਹ robots.txt ਰਾਹੀਂ Claude-User ਨੂੰ ਬਲੌਕ ਕਰਨ ਬਾਰੇ ਦੱਸਦਾ ਹੈ। ਇਸਦੇ ਉਲਟ, OpenAI ਅਤੇ Perplexity ਕਹਿੰਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੇ ਫੈਚਰ ਸ਼ਾਇਦ robots.txt ਦੀ ਪਾਲਣਾ ਨਾ ਕਰਨ।
Claude ਲਈ robots.txt ਦੇ ਨਿਯਮ ਕਿਵੇਂ ਲਿਖਾਂ?
ਹਰ ਏਜੰਟ ਦਾ ਆਪਣਾ ਟੋਕਨ ਹੈ, ਅਤੇ RFC 9309 ਮੁਤਾਬਕ ਜੋ ਗਰੁੱਪ ਕਿਸੇ ਕ੍ਰੌਲਰ ਦਾ ਨਾਂ ਲੈਂਦਾ ਹੈ ਉਹ ਉਸ ਕ੍ਰੌਲਰ ਲਈ * ਗਰੁੱਪ ਦੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ। ਇੱਕ ਆਮ ਚੋਣ ਹੈ ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਅਤੇ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰਹਿਣਾ:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / ਜੇ ਤੁਸੀਂ ਕ੍ਰੌਲਿੰਗ ਨੂੰ ਬਲੌਕ ਕਰਨ ਦੀ ਥਾਂ ਹੌਲੀ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ Anthropic Crawl-delay ਨੂੰ ਗ਼ੈਰ-ਮਿਆਰੀ ਵਾਧੇ ਵਜੋਂ ਮੰਨਦਾ ਹੈ, ਮਿਸਾਲ ਵਜੋਂ User-agent: ClaudeBot ਹੇਠ Crawl-delay: 1। ਨਿਯਮ ਹਰ ਹੋਸਟ ਦੀ ਸਿਖਰਲੀ ਡਾਇਰੈਕਟਰੀ ਵਾਲੇ robots.txt ਵਿੱਚ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ, ਇਸ ਲਈ ਜਿਸ ਵੀ ਸਬਡੋਮੇਨ ਨੂੰ ਕਵਰ ਕਰਨਾ ਹੈ ਉਸ ਵਿੱਚ ਇਹ ਜੋੜੋ।
Anthropic ਦਾ ਪ੍ਰਬੰਧ OpenAI ਅਤੇ Perplexity ਦੇ ਮੁਕਾਬਲੇ ਕਿਹੋ ਜਿਹਾ ਹੈ?
ਤਿੰਨੇ ਵੈਂਡਰ ਵੱਖਰੇ ਨਾਵਾਂ ਨਾਲ ਇੱਕੋ ਨਮੂਨੇ 'ਤੇ ਚੱਲਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਸਾਂਝੇ robots.txt ਬਾਰੇ ਸੋਚਣਾ ਸੌਖਾ ਹੋ ਜਾਂਦਾ ਹੈ। ਮੁੱਖ ਫ਼ਰਕ ਇਹ ਹੈ ਕਿ ਯੂਜ਼ਰ ਦੀ ਮੰਗ 'ਤੇ ਹੋਣ ਵਾਲੀਆਂ ਲਾਈਵ ਬੇਨਤੀਆਂ ਲਈ ਹਰੇਕ robots.txt ਨੂੰ ਕਿਵੇਂ ਲੈਂਦਾ ਹੈ।
- ਸਰਚ ਕ੍ਰੌਲਰ: Anthropic ਲਈ
Claude-SearchBot, OpenAI ਲਈOAI-SearchBot, Perplexity ਲਈPerplexityBot। - ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ: Anthropic ਲਈ
ClaudeBot, OpenAI ਲਈGPTBot। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿPerplexityBotAI ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਲਈ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ। - ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ:
Claude-User,ChatGPT-UserਅਤੇPerplexity-User। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ robots.txt ਨੂੰ ਮੰਨਦੇ ਹਨ; OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿChatGPT-User'ਤੇ robots.txt ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਵੇ; Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿPerplexity-Userਆਮ ਤੌਰ 'ਤੇ ਇਸਨੂੰ ਅਣਡਿੱਠ ਕਰਦਾ ਹੈ।
ਜੇ ਤੁਸੀਂ ਤਿੰਨਾਂ ਲਈ ਇੱਕੋ robots.txt ਲਿਖਦੇ ਹੋ, ਤਾਂ ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਟੋਕਨ ਇੱਕ ਗਰੁੱਪ ਵਿੱਚ ਅਤੇ ਸਿਖਲਾਈ ਟੋਕਨ ਦੂਜੇ ਵਿੱਚ ਰੱਖੋ। ਇਸ ਨਾਲ ਨੀਤੀ ਪੜ੍ਹਨੀ ਸੌਖੀ ਰਹਿੰਦੀ ਹੈ ਅਤੇ ਸਾਫ਼ ਦਿਖਦਾ ਹੈ ਕਿ ਹਰ ਮਕਸਦ ਲਈ ਤੁਸੀਂ ਕੀ ਚੁਣਿਆ।
ਕੀ ਮੈਨੂੰ Anthropic ਨੂੰ IP ਪਤੇ ਨਾਲ ਬਲੌਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?
Anthropic ਇਸਦੇ ਵਿਰੁੱਧ ਸਲਾਹ ਦਿੰਦਾ ਹੈ। ਉਸਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ IP ਪਤੇ ਬਲੌਕ ਕਰਨਾ ਸ਼ਾਇਦ ਠੀਕ ਕੰਮ ਨਾ ਕਰੇ ਜਾਂ ਬਾਹਰ ਰਹਿਣ ਦੀ ਪੱਕੀ ਗਾਰੰਟੀ ਨਾ ਦੇਵੇ, ਕਿਉਂਕਿ ਇਹ ਕ੍ਰੌਲਰ ਨੂੰ ਤੁਹਾਡਾ robots.txt ਪੜ੍ਹਨ ਤੋਂ ਵੀ ਰੋਕ ਦਿੰਦਾ ਹੈ। ਆਪਣੀ ਨੀਤੀ ਦੱਸਣ ਲਈ robots.txt ਵਰਤੋ।
Anthropic ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਦੇ IP ਪਤੇ claude.com/crawling/bots.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਉਸ ਸੂਚੀ ਨੂੰ ਵਰਤਣ ਦਾ ਕੰਮ ਦਾ ਤਰੀਕਾ ਬਲੌਕ ਕਰਨ ਤੋਂ ਉਲਟ ਹੈ: ਆਪਣੀ ਫਾਇਰਵਾਲ ਨੂੰ ਪੁਸ਼ਟੀ ਕਰਨ ਦਿਓ ਕਿ Claude-SearchBot ਜਾਂ Claude-User ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਨ ਵਾਲੀ ਬੇਨਤੀ ਸੱਚਮੁੱਚ Anthropic ਤੋਂ ਆਈ ਹੈ, ਅਤੇ ਉਸਨੂੰ ਲੰਘਣ ਦਿਓ।
Claude ਫਿਰ ਵੀ ਮੇਰਾ ਪੰਨਾ ਪੜ੍ਹਨ ਵਿੱਚ ਨਾਕਾਮ ਕਿਉਂ ਹੋ ਸਕਦਾ ਹੈ?
ਖੁੱਲ੍ਹੇ robots.txt ਦੇ ਬਾਵਜੂਦ, ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਜਾਂ CDN Anthropic ਦੇ ਏਜੰਟਾਂ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨੇ ਨਾਲ ਜਵਾਬ ਦੇ ਸਕਦੀ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ ਬਚ ਨਿਕਲਣ ਤੋਂ ਰੋਕਣ ਵਾਲੀਆਂ ਤਕਨੀਕਾਂ ਦਾ ਆਦਰ ਕਰਦੇ ਹਨ ਅਤੇ CAPTCHA ਪਾਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰਨਗੇ, ਇਸ ਲਈ ਚੈਲੰਜ ਪੰਨਾ ਆਉਣ 'ਤੇ ਵਿਜ਼ਿਟ ਉੱਥੇ ਹੀ ਮੁੱਕ ਜਾਂਦੀ ਹੈ। ਜਿਨ੍ਹਾਂ ਪੰਨਿਆਂ ਦੀ ਲਿਖਤ ਸਿਰਫ਼ JavaScript ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਦਿਖਦੀ ਹੈ, ਉਹ ਵੀ ਲਗਭਗ ਖਾਲੀ ਪਹੁੰਚ ਸਕਦੇ ਹਨ।
AISeeWhy ਤੁਹਾਡਾ ਪੰਨਾ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ-ਨਾਲ ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User ਵਜੋਂ ਮੰਗਦਾ ਹੈ ਅਤੇ ਹਰੇਕ ਲਈ ਤੁਹਾਡੇ robots.txt ਦੇ ਨਿਯਮ ਜਾਂਚਦਾ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਦੇਖ ਸਕੋ ਕਿ ਜੋ ਨੀਤੀ ਤੁਸੀਂ ਲਿਖੀ ਹੈ ਤੁਹਾਡਾ ਸਰਵਰ ਉਹੀ ਲਾਗੂ ਕਰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ ਸਾਈਟ Claude ਦੇ ਜਵਾਬਾਂ ਤੋਂ ਹਟ ਜਾਂਦੀ ਹੈ?
ਸਿਰਫ਼ ਇਸ ਨਾਲ ਨਹੀਂ। ਸਰਚ ਇੰਡੈਕਸਿੰਗ ਅਤੇ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ Claude-SearchBot ਅਤੇ Claude-User ਵਰਤਦੀਆਂ ਹਨ, ਜਿਨ੍ਹਾਂ ਦੇ ਆਪਣੇ robots.txt ਟੋਕਨ ਹਨ।
ਕੀ Claude-User robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ?
Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ robots.txt ਨੂੰ ਮੰਨਦੇ ਹਨ ਅਤੇ ਉੱਥੇ Claude-User ਨੂੰ ਬਲੌਕ ਕਰਨ ਬਾਰੇ ਦੱਸਦਾ ਹੈ; ਇਸਦਾ ਅਸਰ ਇਹ ਹੁੰਦਾ ਹੈ ਕਿ Claude ਯੂਜ਼ਰਾਂ ਦੇ ਸਵਾਲਾਂ ਲਈ ਤੁਹਾਡੇ ਪੰਨੇ ਨਹੀਂ ਲਿਆ ਸਕਦਾ।
ਕੀ Anthropic ਦੇ ਕ੍ਰੌਲਰ CAPTCHA ਹੱਲ ਕਰਨਗੇ?
ਨਹੀਂ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ ਬਚ ਨਿਕਲਣ ਤੋਂ ਰੋਕਣ ਵਾਲੀਆਂ ਤਕਨੀਕਾਂ ਦਾ ਆਦਰ ਕਰਦੇ ਹਨ ਅਤੇ CAPTCHA ਪਾਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰਨਗੇ।
ਕੀ ਮੈਂ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਦੀ ਥਾਂ ਹੌਲੀ ਕਰ ਸਕਦਾ ਹਾਂ?
ਹਾਂ। Anthropic Crawl-delay ਨੂੰ ਗ਼ੈਰ-ਮਿਆਰੀ ਵਾਧੇ ਵਜੋਂ ਮੰਨਦਾ ਹੈ, ਮਿਸਾਲ ਵਜੋਂ ਤੁਹਾਡੇ robots.txt ਦੇ ClaudeBot ਗਰੁੱਪ ਵਿੱਚ Crawl-delay: 1।
ਮੈਂ ਕਿਵੇਂ ਪੁਸ਼ਟੀ ਕਰਾਂ ਕਿ ਬੇਨਤੀ ਸੱਚਮੁੱਚ Anthropic ਤੋਂ ਆਈ ਹੈ?
ਸਰੋਤ IP ਦੀ ਤੁਲਨਾ ਉਸ ਸੂਚੀ ਨਾਲ ਕਰੋ ਜੋ Anthropic claude.com/crawling/bots.json 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਇਕੱਲੇ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਨਕਲ ਕੋਈ ਵੀ ਕਰ ਸਕਦਾ ਹੈ।
ਸਰੋਤ
- Anthropic: ਕੀ Anthropic ਵੈੱਬ ਤੋਂ ਡਾਟਾ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਸਾਈਟ ਮਾਲਕ ਕ੍ਰੌਲਰ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ?
- RFC 9309: Robots Exclusion Protocol