ਕੀ Claude ਮੇਰੀ ਵੈੱਬਸਾਈਟ ਦੇਖ ਸਕਦਾ ਹੈ? ਕਿਵੇਂ ਜਾਂਚੀਏ
Claude ਤੁਹਾਡਾ ਪੰਨਾ ਤਾਂ ਹੀ ਪੜ੍ਹ ਸਕਦਾ ਹੈ ਜੇ ਤੁਹਾਡੀ robots.txt Anthropic ਦੇ ਏਜੰਟਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਅਤੇ ਤੁਹਾਡਾ ਸਰਵਰ ਉਨ੍ਹਾਂ ਨੂੰ ਉਹੀ HTML ਭੇਜਦਾ ਹੈ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲਦਾ ਹੈ। ਜਾਂਚੋ ਕਿ robots.txt Claude-SearchBot ਜਾਂ Claude-User ਨੂੰ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦੀ, ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਉਨ੍ਹਾਂ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਨਹੀਂ ਦਿੰਦੀ, ਅਤੇ ਮੁੱਖ ਟੈਕਸਟ ਸ਼ੁਰੂਆਤੀ HTML ਵਿੱਚ ਹੈ। ਫਿਰ ਖੁਦ Claude ਨੂੰ ਟੈਸਟ ਕਰੋ: ਚੈਟ ਵਿੱਚ ਆਪਣਾ URL ਪੇਸਟ ਕਰੋ ਅਤੇ ਵੈੱਬ ਸਰਚ ਚਾਲੂ ਕਰਕੇ ਉਹ ਸਵਾਲ ਪੁੱਛੋ ਜੋ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਪੁੱਛਦੇ ਹਨ।
ਜੇ ਤੁਸੀਂ Claude ਤੋਂ ਆਪਣੇ ਉਤਪਾਦ ਬਾਰੇ ਪੁੱਛਦੇ ਹੋ ਅਤੇ ਉਹ ਹੋਰ ਸਾਈਟਾਂ ਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਪਹਿਲਾ ਸਵਾਲ ਇਹ ਹੈ ਕਿ ਕੀ ਉਹ ਤੁਹਾਡੀ ਸਾਈਟ ਤੱਕ ਪਹੁੰਚ ਵੀ ਸਕਦਾ ਹੈ। ਇਸਦਾ ਜਵਾਬ ਟੈਸਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। Anthropic ਆਪਣੇ ਏਜੰਟਾਂ ਦੇ robots.txt ਟੋਕਨ ਅਤੇ ਉਹ IP ਪਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਤੋਂ ਉਹ ਆਉਂਦੇ ਹਨ, ਅਤੇ Claude ਉਹ ਸਰੋਤ ਦਿਖਾਉਂਦਾ ਹੈ ਜੋ ਉਸਨੇ ਵਰਤੇ। ਇਸ ਲਈ ਤੁਸੀਂ ਹਰ ਕਦਮ ਕ੍ਰਮ ਵਿੱਚ ਜਾਂਚ ਸਕਦੇ ਹੋ: ਤੁਹਾਡੀ robots.txt ਕੀ ਕਹਿੰਦੀ ਹੈ, ਤੁਹਾਡਾ ਸਰਵਰ ਕੀ ਭੇਜਦਾ ਹੈ, ਤੁਹਾਡੇ ਲੌਗ ਕੀ ਦਰਜ ਕਰਦੇ ਹਨ, ਅਤੇ ਜਦੋਂ ਤੁਸੀਂ Claude ਨੂੰ ਕੋਈ ਪੰਨਾ ਦਿੰਦੇ ਹੋ ਤਾਂ ਉਹ ਉਸ ਨਾਲ ਕੀ ਕਰਦਾ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
- 5 ਮਿੰਟ ਦੀ ਜਾਂਚ, ਕਦਮ ਦਰ ਕਦਮ
- Claude ਵੈੱਬਸਾਈਟਾਂ ਕਿਵੇਂ ਪੜ੍ਹਦਾ ਹੈ?
- ਕਿਵੇਂ ਜਾਂਚੀਏ ਕਿ robots.txt ਰਾਹੀਂ Claude ਮੇਰੀ ਵੈੱਬਸਾਈਟ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ?
- ਕਿਵੇਂ ਟੈਸਟ ਕਰਾਂ ਕਿ Claude ਦੇ ਏਜੰਟਾਂ ਨੂੰ ਮੇਰੇ ਸਰਵਰ ਤੋਂ ਕੀ ਮਿਲਦਾ ਹੈ?
- ਮੈਂ ਕਿਵੇਂ ਦੇਖਾਂ ਕਿ Claude ਅਸਲ ਵਿੱਚ ਮੇਰੀ ਸਾਈਟ 'ਤੇ ਆਉਂਦਾ ਹੈ?
- ਮੈਂ ਆਪਣੇ ਪੰਨੇ ਨਾਲ ਖੁਦ Claude ਨੂੰ ਕਿਵੇਂ ਟੈਸਟ ਕਰਾਂ?
- ਜੇ Claude ਮੇਰਾ ਪੰਨਾ ਪੜ੍ਹ ਸਕਦਾ ਹੈ ਪਰ ਫਿਰ ਵੀ ਉਸਦਾ ਹਵਾਲਾ ਨਹੀਂ ਦਿੰਦਾ ਤਾਂ?
- AISeeWhy ਇਹ ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ?
5 ਮਿੰਟ ਦੀ ਜਾਂਚ, ਕਦਮ ਦਰ ਕਦਮ
- ਆਪਣੀ robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਪੱਕਾ ਕਰੋ ਕਿ
Claude-SearchBot,Claude-UserਜਾਂUser-agent: *ਲਈ ਕੋਈ ਗਰੁੱਪ ਪੰਨੇ ਨੂੰ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦਾ।ClaudeBotਸਿਰਫ਼ ਟ੍ਰੇਨਿੰਗ ਲਈ ਅਹਿਮ ਹੈ। - AISeeWhy 'ਤੇ ਪੰਨੇ ਦੀ ਮੁਫ਼ਤ ਜਾਂਚ ਚਲਾਓ ਜਾਂ
Claude-Userਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਇੱਕ ਬੇਨਤੀ ਭੇਜੋ: ਉਸਨੂੰ ਸਥਿਤੀ 200 ਅਤੇ ਉਹੀ ਟੈਕਸਟ ਮਿਲਣਾ ਚਾਹੀਦਾ ਹੈ ਜੋ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਮਿਲਦਾ ਹੈ। - ਆਪਣੇ ਐਕਸੈਸ ਲੌਗ ਵਿੱਚ
Claude-SearchBotਅਤੇClaude-Userਲੱਭੋ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਮਿਲੇ ਸਥਿਤੀ ਕੋਡ ਦੇਖੋ। - ਵੈੱਬ ਸਰਚ ਚਾਲੂ ਕਰਕੇ ਆਪਣਾ URL Claude ਵਿੱਚ ਪੇਸਟ ਕਰੋ, ਉਸਨੂੰ ਪੰਨੇ ਦਾ ਸਾਰ ਦੇਣ ਲਈ ਕਹੋ, ਫਿਰ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰਾਂ ਵੱਲੋਂ ਪੁੱਛਿਆ ਜਾਂਦਾ ਸਵਾਲ ਪੁੱਛੋ ਅਤੇ ਹਵਾਲੇ ਜਾਂਚੋ।
ਜੇ ਕਦਮ 1 ਜਾਂ 2 ਫੇਲ੍ਹ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਪਹਿਲਾਂ ਪਹੁੰਚ ਠੀਕ ਕਰੋ; ਹੇਠਲੇ ਭਾਗ ਦੱਸਦੇ ਹਨ ਕਿ ਕਿਵੇਂ। ਜੇ Claude ਪੰਨਾ ਪੜ੍ਹਦਾ ਹੈ ਪਰ ਉਸਦਾ ਹਵਾਲਾ ਨਹੀਂ ਦਿੰਦਾ, ਤਾਂ ਸਮੱਗਰੀ 'ਤੇ ਕੰਮ ਕਰੋ।
Claude ਵੈੱਬਸਾਈਟਾਂ ਕਿਵੇਂ ਪੜ੍ਹਦਾ ਹੈ?
Claude ਦੋ ਤਰੀਕਿਆਂ ਨਾਲ ਵੈੱਬ ਤੱਕ ਪਹੁੰਚਦਾ ਹੈ। ਵੈੱਬ ਸਰਚ ਨਾਲ, ਜਦੋਂ ਕਿਸੇ ਸਵਾਲ ਲਈ ਤਾਜ਼ਾ ਜਾਣਕਾਰੀ ਚਾਹੀਦੀ ਹੋਵੇ ਤਾਂ ਉਹ ਸਰਚ ਕਰਦਾ ਹੈ, ਕਈ ਸਰੋਤ ਦੇਖਦਾ ਹੈ ਅਤੇ ਹਵਾਲਿਆਂ ਸਮੇਤ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। Anthropic ਦਾ ਹੈਲਪ ਸੈਂਟਰ ਕਹਿੰਦਾ ਹੈ ਕਿ ਵੈੱਬ ਸਰਚ ਵਰਤਣ ਵਾਲੇ ਹਰ ਜਵਾਬ ਵਿੱਚ ਹਵਾਲੇ ਹੁੰਦੇ ਹਨ। ਜਦੋਂ ਕੋਈ Claude ਨੂੰ ਖ਼ਾਸ ਲਿੰਕ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਉਹ ਉਹ ਪੰਨਾ ਸਿੱਧਾ ਖੋਲ੍ਹ ਸਕਦਾ ਹੈ।
Anthropic ਇਸ ਲਈ ਤਿੰਨ ਏਜੰਟਾਂ ਦਾ ਵੇਰਵਾ ਦਿੰਦਾ ਹੈ, ਹਰ ਇੱਕ ਦਾ ਆਪਣਾ robots.txt ਟੋਕਨ ਹੈ। Claude-SearchBot Claude ਦੇ ਸਰਚ ਨਤੀਜੇ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, Claude-User ਉਦੋਂ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿਸੇ ਯੂਜ਼ਰ ਦੇ ਸਵਾਲ ਲਈ ਉਨ੍ਹਾਂ ਦੀ ਲੋੜ ਹੋਵੇ, ਅਤੇ ClaudeBot ਉਹ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦਾ ਹੈ ਜੋ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। Anthropic ਦੇ ਤਿੰਨ ਕ੍ਰੌਲਰਾਂ ਬਾਰੇ ਸਾਡੀ ਵੱਖਰੀ ਗਾਈਡ ਵਿਸਥਾਰ ਨਾਲ ਦੱਸਦੀ ਹੈ ਕਿ ਹਰ ਇੱਕ ਕੀ ਕਰਦਾ ਹੈ। ਪੜ੍ਹੇ ਜਾਣ ਅਤੇ ਹਵਾਲਾ ਮਿਲਣ ਲਈ ਪਹਿਲੇ ਦੋ ਜਾਂਚਣੇ ਜ਼ਰੂਰੀ ਹਨ।
ਇੱਕ ਈਮਾਨਦਾਰ ਹੱਦ: Anthropic ਇਹ ਨਹੀਂ ਦੱਸਦਾ ਕਿ Claude ਦੀ ਵੈੱਬ ਸਰਚ ਕਿਹੜਾ ਸਰਚ ਇੰਡੈਕਸ ਵਰਤਦੀ ਹੈ ਜਾਂ ਉਹ ਸਰੋਤ ਕਿਵੇਂ ਚੁਣਦੀ ਹੈ। ਉਹ ਕਹਿੰਦਾ ਹੈ ਕਿ Claude-SearchBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਘਟ ਸਕਦੀ ਹੈ ਅਤੇ Claude-User ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਯੂਜ਼ਰਾਂ ਦੇ ਸਵਾਲਾਂ ਲਈ ਪੰਨੇ ਨਹੀਂ ਲਿਆਂਦੇ ਜਾ ਸਕਦੇ। ਦੋਵਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਨਾਲ ਹਵਾਲਾ ਸੰਭਵ ਹੁੰਦਾ ਹੈ; ਇਸਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਮਿਲਦੀ।
ਕਿਵੇਂ ਜਾਂਚੀਏ ਕਿ robots.txt ਰਾਹੀਂ Claude ਮੇਰੀ ਵੈੱਬਸਾਈਟ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ?
https://yourdomain.com/robots.txt ਖੋਲ੍ਹੋ ਅਤੇ ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜੋ Claude-SearchBot ਜਾਂ Claude-User ਦਾ ਨਾਮ ਲੈਂਦੇ ਹਨ। ਜੇ ਕਿਸੇ ਦਾ ਵੀ ਨਾਮ ਨਹੀਂ, ਤਾਂ ਦੋਵੇਂ User-agent: * ਗਰੁੱਪ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ। RFC 9309 ਮੁਤਾਬਕ ਟੋਕਨ ਦੇ ਮੇਲ ਵਿੱਚ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਨਹੀਂ ਪੈਂਦਾ, ਅਤੇ ਜੋ ਵੀ ਗਰੁੱਪ ਲਾਗੂ ਹੁੰਦਾ ਹੈ, ਉਸ ਵਿੱਚ Disallow: / ਉਸ ਏਜੰਟ ਲਈ ਪੂਰੀ ਸਾਈਟ ਬੰਦ ਕਰ ਦਿੰਦਾ ਹੈ।
ਜਵਾਬ ਨੂੰ ਵੀ ਜਾਂਚੋ। ਜੇ robots.txt ਸਰਵਰ ਗਲਤੀ ਦਿੰਦੀ ਹੈ, ਤਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮੰਨਣਾ ਪੈਂਦਾ ਹੈ ਕਿ ਸਭ ਕੁਝ ਮਨ੍ਹਾ ਹੈ। 404 ਦਾ ਮਤਲਬ ਹੈ ਕੋਈ ਨਿਯਮ ਨਹੀਂ। ਦੋ ਕਮਾਂਡਾਂ ਸਥਿਤੀ ਕੋਡ ਅਤੇ ਫਾਈਲ ਦਾ ਹਰ ਗਰੁੱਪ ਦਿਖਾਉਂਦੀਆਂ ਹਨ:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਨਿਯਮ ਹਰ ਸਬਡੋਮੇਨ ਦੇ ਸਿਖਰਲੇ ਪੱਧਰ ਵਾਲੀ robots.txt ਵਿੱਚ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ, ਇਸ ਲਈ blog.example.com ਨੂੰ ਆਪਣੀ ਫਾਈਲ ਚਾਹੀਦੀ ਹੈ। ਅਜਿਹੇ ਬਲੌਕ ਘੱਟ ਨਹੀਂ ਹਨ। 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਦੇ ਸਾਡੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਦੇਣ ਵਾਲੀਆਂ 518 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 67 (12.9%) ਨੇ Claude-SearchBot ਲਈ ਅਤੇ 68 (13.1%) ਨੇ Claude-User ਲਈ ਹੋਮ ਪੇਜ ਮਨ੍ਹਾ ਕੀਤਾ ਸੀ, ਜਦਕਿ 110 (21.2%) ਨੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ClaudeBot ਲਈ ਅਜਿਹਾ ਕੀਤਾ ਸੀ।
ਕਿਵੇਂ ਟੈਸਟ ਕਰਾਂ ਕਿ Claude ਦੇ ਏਜੰਟਾਂ ਨੂੰ ਮੇਰੇ ਸਰਵਰ ਤੋਂ ਕੀ ਮਿਲਦਾ ਹੈ?
robots.txt ਇੱਕ ਬੇਨਤੀ ਹੈ, ਪਹੁੰਚ ਕੰਟਰੋਲ ਨਹੀਂ। ਫਾਇਰਵਾਲ, CDN ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ Anthropic ਦੇ ਏਜੰਟਾਂ ਨੂੰ 403, 429 ਜਾਂ ਚੈਲੰਜ ਪੰਨੇ ਨਾਲ ਜਵਾਬ ਦੇ ਸਕਦੀ ਹੈ, ਜਦਕਿ ਤੁਹਾਡਾ ਆਪਣਾ ਬ੍ਰਾਊਜ਼ਰ ਪੰਨਾ ਆਮ ਵਾਂਗ ਦੇਖਦਾ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ CAPTCHA ਨੂੰ ਬਾਈਪਾਸ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨਹੀਂ ਕਰਨਗੇ, ਇਸ ਲਈ ਚੈਲੰਜ ਪੰਨਾ ਆਉਂਦੇ ਹੀ ਫੇਰੀ ਖ਼ਤਮ ਹੋ ਜਾਂਦੀ ਹੈ।
ਇੱਕੋ URL ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਅਤੇ ਹਰ Anthropic ਟੋਕਨ ਨਾਲ ਮੰਗੋ, ਫਿਰ ਸਥਿਤੀ ਕੋਡ ਅਤੇ ਆਕਾਰ ਦੀ ਤੁਲਨਾ ਕਰੋ:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic ਦਾ ਹੈਲਪ ਪੰਨਾ ਟੋਕਨਾਂ ਦੇ ਨਾਮ ਦੱਸਦਾ ਹੈ ਪਰ ਪੂਰੀਆਂ ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦਾ, ਇਸ ਲਈ ਇਹ ਟੈਸਟ ਸਤਰਾਂ ਹਨ, Anthropic ਦੀਆਂ ਅਸਲ ਸਤਰਾਂ ਨਹੀਂ। ਇਹ ਦਿਖਾਉਂਦੀਆਂ ਹਨ ਕਿ ਨਾਮ ਨਾਲ ਮੇਲ ਖਾਣ ਵਾਲੇ ਨਿਯਮ ਬੇਨਤੀ ਨਾਲ ਕਿਵੇਂ ਵਰਤਦੇ ਹਨ। ਸਿਰਫ਼ Claude ਵਾਲੀਆਂ ਲਾਈਨਾਂ ਲਈ 403, 429 ਜਾਂ 503, ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲੇ ਨਾਲੋਂ ਬਹੁਤ ਛੋਟਾ 200, ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ।
ਤੁਹਾਡਾ ਟੈਸਟ ਤੁਹਾਡੇ ਆਪਣੇ IP ਪਤੇ ਤੋਂ ਆਉਂਦਾ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ claude.com/crawling/bots.json ਵਾਲੀ ਸੂਚੀ ਦੇ ਪਤਿਆਂ ਤੋਂ ਆਉਣ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ Anthropic ਦੀਆਂ ਹਨ। ਜੇ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਪ੍ਰਮਾਣਿਤ ਕ੍ਰੌਲਰਾਂ ਨੂੰ IP ਦੇ ਆਧਾਰ 'ਤੇ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਤਾਂ ਅਸਲ ਏਜੰਟ ਲੰਘ ਸਕਦੇ ਹਨ ਜਦਕਿ ਤੁਹਾਡਾ ਟੈਸਟ ਬਲੌਕ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਇਸਦਾ ਉਲਟ ਵੀ ਹੋ ਸਕਦਾ ਹੈ। ਸੂਚੀ ਨੂੰ Anthropic ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਲਈ ਵਰਤੋ, ਬਲੌਕ ਕਰਨ ਲਈ ਨਹੀਂ: Anthropic IP ਬਲੌਕ ਕਰਨ ਤੋਂ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਸ ਨਾਲ ਉਸਦੇ ਬੋਟ ਤੁਹਾਡੀ robots.txt ਵੀ ਨਹੀਂ ਪੜ੍ਹ ਸਕਦੇ।
ਮੈਂ ਕਿਵੇਂ ਦੇਖਾਂ ਕਿ Claude ਅਸਲ ਵਿੱਚ ਮੇਰੀ ਸਾਈਟ 'ਤੇ ਆਉਂਦਾ ਹੈ?
ਤੁਹਾਡੇ access ਲੌਗ ਇਸਦਾ ਸਿੱਧਾ ਜਵਾਬ ਦਿੰਦੇ ਹਨ। ਉਨ੍ਹਾਂ ਵਿੱਚ ਤਿੰਨਾਂ ਟੋਕਨਾਂ ਨੂੰ ਲੱਭੋ, ਫਿਰ ਜਾਂਚੋ ਕਿ ਸਰੋਤ ਪਤੇ Anthropic ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਵਿੱਚ ਆਉਂਦੇ ਹਨ, ਕਿਉਂਕਿ ਯੂਜ਼ਰ ਏਜੰਟ ਦਾ ਨਾਮ ਕੋਈ ਵੀ ਨਕਲ ਕਰ ਸਕਦਾ ਹੈ:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' ਪਹਿਲੀ ਕਮਾਂਡ ਆਮ combined ਲੌਗ ਫਾਰਮੈਟ ਮੰਨਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਫੀਲਡ 1 ਕਲਾਇੰਟ ਦਾ ਪਤਾ ਅਤੇ ਫੀਲਡ 9 ਸਥਿਤੀ ਕੋਡ ਹੁੰਦਾ ਹੈ। Anthropic ਦੇ ਏਜੰਟਾਂ ਦੇ ਨਾਲ ਬਹੁਤ ਸਾਰੇ 403 ਜਾਂ 429 ਕੋਡ ਫਾਇਰਵਾਲ ਦੀ ਸਮੱਸਿਆ ਦੀ ਪੁਸ਼ਟੀ ਕਰਦੇ ਹਨ। Claude-SearchBot ਦੀ ਕੋਈ ਵੀ ਫੇਰੀ ਨਾ ਹੋਣ ਦਾ ਮਤਲਬ ਸਿਰਫ਼ ਇਹ ਹੈ ਕਿ ਉਸਨੇ ਅਜੇ ਉਹ ਪੰਨੇ ਕ੍ਰੌਲ ਨਹੀਂ ਕੀਤੇ, ਜਾਂ ਕੋਈ ਚੀਜ਼ ਉਸਨੂੰ ਪਹਿਲਾਂ ਹੀ ਰੋਕ ਦਿੰਦੀ ਹੈ।
ਮੈਂ ਆਪਣੇ ਪੰਨੇ ਨਾਲ ਖੁਦ Claude ਨੂੰ ਕਿਵੇਂ ਟੈਸਟ ਕਰਾਂ?
ਇੱਕ ਚੈਟ ਖੋਲ੍ਹੋ ਅਤੇ ਆਪਣੇ ਕਿਸੇ ਪੰਨੇ ਦਾ URL "ਇਸ ਪੰਨੇ ਦਾ ਸਾਰ ਦੱਸੋ" ਵਰਗੀ ਬੇਨਤੀ ਨਾਲ ਪੇਸਟ ਕਰੋ। Anthropic ਦਾ ਹੈਲਪ ਸੈਂਟਰ ਕਹਿੰਦਾ ਹੈ ਕਿ ਵੈੱਬ ਸਰਚ ਚਾਲੂ ਹੋਵੇ ਤਾਂ Claude ਤੁਹਾਡੇ ਦਿੱਤੇ ਲਿੰਕ ਖੋਲ੍ਹ ਸਕਦਾ ਹੈ। ਜੇ ਵੈੱਬ ਸਰਚ ਬੰਦ ਹੈ, ਤਾਂ ਉਸਨੂੰ + ਮੀਨੂ ਤੋਂ ਚਾਲੂ ਕਰੋ; Anthropic ਦੇ ਨਵੇਂ Claude ਅਨੁਭਵ ਵਿੱਚ ਕੋਈ ਸਵਿੱਚ ਨਹੀਂ ਹੈ ਅਤੇ Claude ਲੋੜ ਪੈਣ 'ਤੇ ਆਪੇ ਸਰਚ ਕਰਦਾ ਹੈ। Team ਅਤੇ Enterprise ਪਲਾਨਾਂ 'ਤੇ ਮਾਲਕ ਨੂੰ ਪਹਿਲਾਂ ਸੰਸਥਾ ਲਈ ਵੈੱਬ ਸਰਚ ਚਾਲੂ ਕਰਨੀ ਪੈਂਦੀ ਹੈ। ਜੇ ਬ੍ਰਾਊਜ਼ਰ ਤੁਹਾਡਾ ਪੰਨਾ ਖੋਲ੍ਹ ਲੈਂਦਾ ਹੈ ਪਰ Claude ਨਹੀਂ, ਤਾਂ ਫਾਇਰਵਾਲ ਟੈਸਟ 'ਤੇ ਵਾਪਸ ਜਾਓ।
ਫਿਰ ਆਪਣੀ ਸਾਈਟ ਦਾ ਨਾਮ ਲਏ ਬਿਨਾਂ ਉਹ ਸਵਾਲ ਪੁੱਛੋ ਜੋ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਪੁੱਛਦੇ ਹਨ, ਅਤੇ ਹਵਾਲਾ ਦਿੱਤੇ ਸਰੋਤ ਖੋਲ੍ਹੋ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਸਥਾਨਕ ਨਤੀਜਿਆਂ ਲਈ Claude ਤੁਹਾਡੇ IP ਪਤੇ ਤੋਂ ਅੰਦਾਜ਼ਾ ਲਾਈ ਥਾਂ ਵਰਤ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਜਵਾਬ ਥਾਂ ਮੁਤਾਬਕ ਅਤੇ ਹਰ ਵਾਰ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ।
ਡਿਵੈਲਪਰ ਇਹ Claude API ਰਾਹੀਂ ਦੁਹਰਾ ਸਕਦੇ ਹਨ। ਵੈੱਬ ਸਰਚ ਟੂਲ allowed_domains ਸੂਚੀ ਲੈਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਹਾਡੇ ਡੋਮੇਨ ਤੱਕ ਸੀਮਤ ਬੇਨਤੀ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਕਿਸੇ ਸਵਾਲ ਲਈ Claude ਦੀ ਸਰਚ ਤੁਹਾਡਾ ਕੋਈ ਪੰਨਾ ਲੱਭਦੀ ਹੈ ਜਾਂ ਨਹੀਂ:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' ਖਾਲੀ ਸਰਚ ਨਤੀਜਿਆਂ ਦਾ ਮਤਲਬ ਹੈ ਕਿ Claude ਦੀ ਸਰਚ ਨੂੰ ਉਸ ਸਵਾਲ ਲਈ ਉਸ ਡੋਮੇਨ 'ਤੇ ਕੁਝ ਨਹੀਂ ਮਿਲਿਆ। Anthropic API ਰਾਹੀਂ ਵੈੱਬ ਸਰਚਾਂ ਲਈ ਟੋਕਨਾਂ ਤੋਂ ਇਲਾਵਾ ਵੱਖਰਾ ਖਰਚਾ ਲੈਂਦਾ ਹੈ। API ਦਾ web fetch ਟੂਲ ਇਹ ਵੀ ਦੱਸਦਾ ਹੈ ਕਿ ਪੰਨਾ ਕਿਉਂ ਨਹੀਂ ਪੜ੍ਹਿਆ ਜਾ ਸਕਿਆ: url_not_allowed robots.txt ਵਰਗੇ ਬਲੌਕਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਅਤੇ url_not_accessible ਦਾ ਮਤਲਬ HTTP ਗਲਤੀ ਹੈ। API ਦੇ ਜਵਾਬ Claude ਐਪਾਂ ਵਿੱਚ ਦਿਖਣ ਵਾਲੇ ਜਵਾਬਾਂ ਤੋਂ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਹਨ।
ਜੇ Claude ਮੇਰਾ ਪੰਨਾ ਪੜ੍ਹ ਸਕਦਾ ਹੈ ਪਰ ਫਿਰ ਵੀ ਉਸਦਾ ਹਵਾਲਾ ਨਹੀਂ ਦਿੰਦਾ ਤਾਂ?
ਪਹਿਲਾਂ ਪੱਕਾ ਕਰੋ ਕਿ ਲੋੜੀਂਦਾ ਟੈਕਸਟ ਉਸ HTML ਵਿੱਚ ਹੈ ਜੋ ਤੁਹਾਡਾ ਸਰਵਰ ਭੇਜਦਾ ਹੈ। Anthropic ਦੇ API ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ ਉਸਦਾ web fetch ਟੂਲ JavaScript ਨਾਲ ਰੈਂਡਰ ਹੋਣ ਵਾਲੀਆਂ ਵੈੱਬਸਾਈਟਾਂ ਨੂੰ ਸਪੋਰਟ ਨਹੀਂ ਕਰਦਾ, ਅਤੇ Anthropic ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਉਸਦੇ ਕ੍ਰੌਲਰ ਸਕ੍ਰਿਪਟਾਂ ਰੈਂਡਰ ਕਰਦੇ ਹਨ। ਆਪਣਾ ਪੰਨਾ curl ਨਾਲ ਲਿਆਓ ਅਤੇ ਆਉਟਪੁੱਟ ਵਿੱਚ ਆਪਣੀ ਮੁੱਖ ਸਮੱਗਰੀ ਦਾ ਕੋਈ ਵਾਕ ਲੱਭੋ। ਜੇ ਉਹ ਨਹੀਂ ਹੈ, ਤਾਂ ਸਰਵਰ-ਸਾਈਡ ਰੈਂਡਰਿੰਗ ਜਾਂ ਪ੍ਰੀ-ਰੈਂਡਰਿੰਗ ਇਸਨੂੰ Claude ਲਈ ਅਤੇ ਜ਼ਿਆਦਾਤਰ ਹੋਰ AI ਕ੍ਰੌਲਰਾਂ ਲਈ ਠੀਕ ਕਰ ਦਿੰਦੀ ਹੈ।
ਉਸ ਤੋਂ ਬਾਅਦ ਪੰਨਾ ਖੁਦ ਫ਼ੈਸਲਾ ਕਰਦਾ ਹੈ। ਪੰਨੇ ਦੇ ਮੁੱਖ ਸਵਾਲ ਦਾ ਜਵਾਬ ਪਹਿਲੇ ਵਾਕਾਂ ਵਿੱਚ ਰੱਖੋ, ਲੋਕਾਂ ਦੇ ਸਵਾਲਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਸਿਰਲੇਖ ਵਰਤੋ, ਪ੍ਰਕਾਸ਼ਕ ਦਾ ਨਾਮ ਦਿਓ ਅਤੇ ਤਾਰੀਖਾਂ ਦਿਖਾਓ। ਫਿਰ ਆਪਣੇ ਪੰਨੇ ਦੀ ਤੁਲਨਾ ਉਸ ਪੰਨੇ ਨਾਲ ਕਰੋ ਜਿਸਦਾ Claude ਉਸੇ ਸਵਾਲ ਲਈ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ: ਹਵਾਲਾ ਦਿੱਤਾ ਪੰਨਾ ਅਕਸਰ ਉਸੇ ਸਵਾਲ ਦਾ ਜ਼ਿਆਦਾ ਸਿੱਧਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ।
AISeeWhy ਇਹ ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ?
ਮੁਫ਼ਤ AISeeWhy ਜਾਂਚ ਤੁਹਾਡਾ ਪੰਨਾ ਅਸਲ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ Claude-SearchBot, Claude-User, ClaudeBot ਅਤੇ ਹੋਰ AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆਉਂਦੀ ਹੈ, ਹਰ ਇੱਕ ਲਈ ਤੁਹਾਡੀ robots.txt ਲਾਗੂ ਕਰਦੀ ਹੈ, ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ JavaScript ਤੋਂ ਬਿਨਾਂ ਕਿੰਨਾ ਟੈਕਸਟ ਪਹੁੰਚਦਾ ਹੈ। AI ਵਿੱਚ ਦਿੱਖ ਜਾਂਚ, ਜੋ ਟ੍ਰਾਇਲ ਅਤੇ ਭੁਗਤਾਨ ਵਾਲੇ ਪਲਾਨਾਂ ਵਿੱਚ ਹੈ, ਤੁਹਾਡੀ ਆਪਣੀ API ਕੁੰਜੀ ਨਾਲ ਵੈੱਬ ਸਰਚ ਵਾਲੇ Claude ਰਾਹੀਂ ਤੁਹਾਡੇ ਸਵਾਲ ਪੁੱਛਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਬ੍ਰਾਂਡ ਜਾਂ ਡੋਮੇਨ ਦਾ ਜ਼ਿਕਰ ਜਾਂ ਹਵਾਲਾ ਹੈ ਜਾਂ ਨਹੀਂ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ ਮੈਂ ਮੁਫ਼ਤ ਵਿੱਚ ਜਾਂਚ ਸਕਦਾ ਹਾਂ ਕਿ Claude ਮੇਰੀ ਸਾਈਟ ਦੇਖ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ?
ਹਾਂ। ਤੁਹਾਡੀ robots.txt, curl ਬੇਨਤੀ, ਤੁਹਾਡਾ ਸਰਵਰ ਲੌਗ ਅਤੇ Claude ਵਿੱਚ ਇੱਕ ਸਵਾਲ, ਇਨ੍ਹਾਂ ਦਾ ਕੋਈ ਖ਼ਰਚਾ ਨਹੀਂ। AISeeWhy ਦੀ ਮੁਫ਼ਤ ਜਾਂਚ ਖਾਤੇ ਤੋਂ ਬਿਨਾਂ ਦਿਨ ਵਿੱਚ ਇੱਕ ਪੰਨੇ ਲਈ Anthropic ਦੇ ਏਜੰਟ ਅਤੇ 13 ਹੋਰ ਕ੍ਰੌਲਰ ਜਾਂਚਦੀ ਹੈ।
ਲਿੰਕ ਪੇਸਟ ਕਰਨ 'ਤੇ Claude ਮੇਰੀ ਵੈੱਬਸਾਈਟ ਕਿਉਂ ਨਹੀਂ ਖੋਲ੍ਹ ਸਕਦਾ?
ਆਮ ਕਾਰਨ ਹਨ: ਫਾਇਰਵਾਲ ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ ਜੋ Anthropic ਦੇ ਏਜੰਟਾਂ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦਿੰਦੀ ਹੈ, robots.txt ਦਾ ਕੋਈ ਨਿਯਮ ਜੋ Claude-User ਨੂੰ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ, ਜਾਂ ਅਜਿਹਾ ਪੰਨਾ ਜਿਸਦਾ ਟੈਕਸਟ ਸਿਰਫ਼ JavaScript ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਆਉਂਦਾ ਹੈ। URL ਨੂੰ curl ਨਾਲ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਅਤੇ Claude ਟੋਕਨਾਂ ਨਾਲ ਟੈਸਟ ਕਰੋ, ਅਤੇ ਲੌਗਾਂ ਵਿੱਚ ਬਲੌਕ ਹੋਈਆਂ ਬੇਨਤੀਆਂ ਦੇਖੋ।
ਕੀ Anthropic ਟੈਸਟ ਕਰਨ ਲਈ ਕੋਈ ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ?
Anthropic ਦਾ ਕ੍ਰੌਲਰ ਹੈਲਪ ਪੰਨਾ ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User ਟੋਕਨਾਂ ਦੀ ਸੂਚੀ ਦਿੰਦਾ ਹੈ, ਪਰ ਪੂਰੀਆਂ ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰਾਂ ਨਹੀਂ। Anthropic ਦੇ ਅਸਲ ਟ੍ਰੈਫਿਕ ਨੂੰ ਨਕਲਚੀਆਂ ਤੋਂ ਵੱਖ ਕਰਨ ਲਈ, ਸਰੋਤ IP ਦੀ ਤੁਲਨਾ claude.com/crawling/bots.json ਵਾਲੀ ਸੂਚੀ ਨਾਲ ਕਰੋ।
robots.txt ਵਿੱਚ ਕੀਤੀ ਤਬਦੀਲੀ Claude ਤੱਕ ਕਿੰਨੇ ਸਮੇਂ ਵਿੱਚ ਪਹੁੰਚਦੀ ਹੈ?
Anthropic ਕੋਈ ਸਮਾਂ ਨਹੀਂ ਦੱਸਦਾ। RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੈਸ਼ ਕੀਤੀ robots.txt 24 ਘੰਟਿਆਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਵਰਤਣੀ ਚਾਹੀਦੀ, ਇਸ ਲਈ ਲੌਗਾਂ ਵਿੱਚ ਜਾਂ Claude ਦੇ ਜਵਾਬਾਂ ਵਿੱਚ ਨਤੀਜਾ ਪਰਖਣ ਤੋਂ ਪਹਿਲਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਦਿਨ ਉਡੀਕ ਕਰੋ।
ਕੀ Claude API ਉਹੀ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਜੋ Claude ਐਪ ਦਿੰਦੀ ਹੈ?
ਜ਼ਰੂਰੀ ਨਹੀਂ। ਐਪ ਤੁਹਾਡੀ ਅੰਦਾਜ਼ਨ ਥਾਂ ਅਤੇ ਆਪਣੀਆਂ ਸੈਟਿੰਗਾਂ ਵਰਤ ਸਕਦੀ ਹੈ, ਜਦਕਿ API ਬੇਨਤੀ ਉਹ ਟੂਲ ਅਤੇ ਪੈਰਾਮੀਟਰ ਵਰਤਦੀ ਹੈ ਜੋ ਤੁਸੀਂ ਭੇਜਦੇ ਹੋ। API ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਦੁਹਰਾਇਆ ਜਾ ਸਕਣ ਵਾਲਾ ਟੈਸਟ ਮੰਨੋ, ਹਰ ਯੂਜ਼ਰ ਨੂੰ ਦਿਖਣ ਵਾਲੀ ਚੀਜ਼ ਦੀ ਨਕਲ ਨਹੀਂ।
ਮੈਨੂੰ ਕਿਵੇਂ ਪਤਾ ਲੱਗੇ ਕਿ Claude ਮੇਰੇ ਬ੍ਰਾਂਡ ਦਾ ਜ਼ਿਕਰ ਕਰਦਾ ਹੈ?
ਵੈੱਬ ਸਰਚ ਚਾਲੂ ਕਰਕੇ Claude ਤੋਂ ਉਹ ਸਵਾਲ ਪੁੱਛੋ ਜੋ ਤੁਹਾਡੇ ਖਰੀਦਦਾਰ ਪੁੱਛਦੇ ਹਨ, ਅਤੇ ਨੋਟ ਕਰੋ ਕਿ ਉਹ ਤੁਹਾਡੀ ਸਾਈਟ ਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ ਜਾਂ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਉਸਦੀ ਥਾਂ ਕਿਹੜੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਆਉਂਦੇ ਹਨ। ਹਰ ਸਵਾਲ ਕਈ ਹਫ਼ਤਿਆਂ ਤੱਕ ਦੁਹਰਾਓ, ਕਿਉਂਕਿ ਜਵਾਬ ਬਦਲਦੇ ਰਹਿੰਦੇ ਹਨ। AISeeWhy ਦੀ AI ਵਿੱਚ ਦਿੱਖ ਜਾਂਚ ਇਹ ਹਰ ਹਫ਼ਤੇ ਤੁਹਾਡੀ ਕੁੰਜੀ ਨਾਲ Claude API ਰਾਹੀਂ, 4 ਤੱਕ ਮੁਕਾਬਲੇਬਾਜ਼ਾਂ ਦੇ ਨਾਲ ਕਰਦੀ ਹੈ।
ਸਰੋਤ
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: ਕ੍ਰੌਲਰਾਂ ਦੇ IP ਪਤਿਆਂ ਦੀ ਸੂਚੀ (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI ਕ੍ਰੌਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11