Anthropic ನ ಕ್ರಾಲರ್‌ಗಳು: ClaudeBot, Claude-SearchBot ಮತ್ತು Claude-User

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

Anthropic ಮೂರು ಏಜೆಂಟ್‌ಗಳನ್ನು ನಡೆಸುತ್ತದೆ: ClaudeBot ತನ್ನ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ, Claude-SearchBot Claude ನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸಲು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ, ಮತ್ತು Claude ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗೆ ಬೇಕಾದಾಗ Claude-User ಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತದೆ. ಪ್ರತಿಯೊಂದಕ್ಕೂ ತನ್ನದೇ robots.txt ಟೋಕನ್ ಇದೆ, ಮತ್ತು ಮೂರೂ robots.txt ಅನ್ನು ಗೌರವಿಸುತ್ತವೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. ClaudeBot ಒಂದನ್ನೇ ತಡೆದರೆ ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಫೆಚ್‌ಗಳು ನಿಲ್ಲುವುದಿಲ್ಲ.

Anthropic ತನ್ನ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಂದೇ ಸಹಾಯ ಪುಟದಲ್ಲಿ ದಾಖಲಿಸಿದೆ, ಮತ್ತು ರಚನೆ ಇತರ AI ಮಾರಾಟಗಾರರಂತೆಯೇ ಇದೆ: ತರಬೇತಿಗೆ ಒಂದು ಏಜೆಂಟ್, ಹುಡುಕಾಟಕ್ಕೆ ಒಂದು, ಮತ್ತು ಬಳಕೆದಾರರ ಪರವಾಗಿ ನೇರ ಫೆಚ್‌ಗಳಿಗೆ ಒಂದು. Claude ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಹುಡುಕಿ ಉಲ್ಲೇಖಿಸಬೇಕಿದ್ದರೆ, ಕೊನೆಯ ಎರಡು ಅತ್ಯಂತ ಮುಖ್ಯ.

ಈ ಪುಟದಲ್ಲಿ
  1. ClaudeBot ಏನು ಮಾಡುತ್ತದೆ?
  2. Claude-SearchBot ಏನು ಮಾಡುತ್ತದೆ?
  3. Claude-User ಏನು ಮಾಡುತ್ತದೆ?
  4. Claude ಗಾಗಿ robots.txt ನಿಯಮಗಳನ್ನು ಹೇಗೆ ಬರೆಯುವುದು?
  5. Anthropic ನ ವ್ಯವಸ್ಥೆ OpenAI ಮತ್ತು Perplexity ಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?
  6. Anthropic ಅನ್ನು IP ವಿಳಾಸದಿಂದ ತಡೆಯಬೇಕೇ?
  7. ಆದರೂ Claude ನನ್ನ ಪುಟವನ್ನು ಓದಲು ಏಕೆ ವಿಫಲವಾಗಬಹುದು?

ClaudeBot ಏನು ಮಾಡುತ್ತದೆ?

ClaudeBot Anthropic ನ ಉತ್ಪಾದಕ AI ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ನೆರವಾಗಬಹುದಾದ ವೆಬ್ ವಿಷಯವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. Anthropic ಪ್ರಕಾರ, ಅದನ್ನು ನಿಷೇಧಿಸುವುದು ನಿಮ್ಮ ಸೈಟ್‌ನ ಮುಂದಿನ ವಿಷಯವನ್ನು ತರಬೇತಿ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ ಹೊರಗಿಡಬೇಕು ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

IETF ಕರಡನ್ನು ಆಧರಿಸಿದ, ಯಂತ್ರ ಓದಬಲ್ಲ AI-ತರಬೇತಿ-ಬೇಡ ಸಂಕೇತವನ್ನೂ ತಾನು ಗೌರವಿಸುವುದಾಗಿ Anthropic ಹೇಳುತ್ತದೆ, ಮತ್ತು robots.txt ನಲ್ಲಿ ClaudeBot ಅನ್ನು ಹೆಸರಿಸುವ ನಿಯಮಗಳು ಆ ಸಾಮಾನ್ಯ ಸೆಟ್ಟಿಂಗ್‌ಗಿಂತ ಆದ್ಯತೆ ಪಡೆಯುತ್ತವೆ. ಇತರ ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳಂತೆ, ಇದನ್ನು ತಡೆಯುವುದು ನೀತಿಯ ಆಯ್ಕೆ.

Claude-SearchBot ಏನು ಮಾಡುತ್ತದೆ?

Claude-SearchBot Claude ನಲ್ಲಿನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳ ಪ್ರಸ್ತುತತೆ ಮತ್ತು ನಿಖರತೆಯನ್ನು ಸುಧಾರಿಸಲು ವೆಬ್ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ. ಅದನ್ನು ತಡೆದರೆ ನಿಮ್ಮ ವಿಷಯ ಹುಡುಕಾಟಕ್ಕಾಗಿ ಇಂಡೆಕ್ಸ್ ಆಗುವುದಿಲ್ಲ, ಇದರಿಂದ ಬಳಕೆದಾರರ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ನಿಮ್ಮ ಗೋಚರತೆ ಮತ್ತು ನಿಖರತೆ ಕಡಿಮೆಯಾಗಬಹುದು ಎಂದು Anthropic ಹೇಳುತ್ತದೆ.

ಯಾರಾದರೂ ಕೇಳುವ ಮೊದಲೇ Claude ನ ಹುಡುಕಾಟ ವೈಶಿಷ್ಟ್ಯಗಳಿಗೆ ನಿಮ್ಮ ಪುಟಗಳ ಕುರಿತು ತಿಳಿದಿರಬೇಕಿದ್ದರೆ ಅನುಮತಿಸಬೇಕಾದ ಏಜೆಂಟ್ ಇದೇ. ಇದು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಆದ್ದರಿಂದ, ಯಾವುದೇ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗೆ ನೆರವಾಗುವ ಅಂಶಗಳೇ ಇದಕ್ಕೂ ನೆರವಾಗುತ್ತವೆ: robots.txt ನಲ್ಲಿ ಪಟ್ಟಿಮಾಡಿದ ಸೈಟ್‌ಮ್ಯಾಪ್, ಸ್ವಚ್ಛ ಆಂತರಿಕ ಲಿಂಕ್‌ಗಳು, ಮತ್ತು ಮೊದಲ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲೇ ತಮ್ಮ ವಿಷಯ ನೀಡುವ ಪುಟಗಳು.

Claude-User ಏನು ಮಾಡುತ್ತದೆ?

Claude ಬಳಕೆದಾರರು ವೆಬ್‌ಸೈಟ್ ಬೇಕಾಗುವ ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗ Claude-User ಆ ವೆಬ್‌ಸೈಟ್ ಅನ್ನು ಪ್ರವೇಶಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಯಾರಾದರೂ URL ಹಂಚಿಕೊಂಡಾಗ ಅಥವಾ ಏನನ್ನಾದರೂ ಹುಡುಕಲು Claude ಗೆ ಕೇಳಿದಾಗ. ಅದನ್ನು ತಡೆದರೆ ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗಳಿಗೆ ಪ್ರತಿಕ್ರಿಯೆಯಾಗಿ ಪುಟ ಪಡೆಯುವುದು ನಿಲ್ಲುತ್ತದೆ, ಇದರಿಂದ ಬಳಕೆದಾರ ನಿರ್ದೇಶಿತ ವೆಬ್ ಹುಡುಕಾಟದಲ್ಲಿ ನಿಮ್ಮ ಗೋಚರತೆ ಕಡಿಮೆಯಾಗಬಹುದು ಎಂದು Anthropic ಹೇಳುತ್ತದೆ.

ಇತರ ಕೆಲವು ಮಾರಾಟಗಾರರಿಗಿಂತ ಇರುವ ವ್ಯತ್ಯಾಸವನ್ನು ಗಮನಿಸಿ. ತನ್ನ ಬಾಟ್‌ಗಳು robots.txt ನಿರ್ದೇಶನಗಳನ್ನು ಗೌರವಿಸುತ್ತವೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ, ಮತ್ತು robots.txt ಮೂಲಕ Claude-User ತಡೆಯುವುದನ್ನು ವಿವರಿಸುತ್ತದೆ. ಇದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ತಮ್ಮ ಬಳಕೆದಾರ ಕೇಳುವ ಫೆಚರ್‌ಗಳು robots.txt ಪಾಲಿಸದಿರಬಹುದು ಎಂದು OpenAI ಮತ್ತು Perplexity ಹೇಳುತ್ತವೆ.

Claude ಗಾಗಿ robots.txt ನಿಯಮಗಳನ್ನು ಹೇಗೆ ಬರೆಯುವುದು?

ಪ್ರತಿ ಏಜೆಂಟ್‌ಗೆ ತನ್ನದೇ ಟೋಕನ್ ಇದೆ, ಮತ್ತು RFC 9309 ಪ್ರಕಾರ ಕ್ರಾಲರ್ ಅನ್ನು ಹೆಸರಿಸುವ ಗುಂಪು ಆ ಕ್ರಾಲರ್‌ಗೆ * ಗುಂಪಿನ ಸ್ಥಾನ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಫೆಚ್‌ಗಳನ್ನು ಅನುಮತಿಸಿ ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯುವುದು ಸಾಮಾನ್ಯ ಆಯ್ಕೆ:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

ಕ್ರಾಲಿಂಗ್ ಅನ್ನು ತಡೆಯುವ ಬದಲು ನಿಧಾನಗೊಳಿಸಬೇಕಿದ್ದರೆ, Anthropic Crawl-delay ಅನ್ನು ಮಾನದಂಡವಲ್ಲದ ವಿಸ್ತರಣೆಯಾಗಿ ಬೆಂಬಲಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ User-agent: ClaudeBot ಅಡಿಯಲ್ಲಿ Crawl-delay: 1. ನಿಯಮಗಳು ಪ್ರತಿ ಹೋಸ್ಟ್‌ನ ಮೇಲ್ಮಟ್ಟದ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿರುವ robots.txt ನಲ್ಲಿರಬೇಕು, ಆದ್ದರಿಂದ ಒಳಗೊಳ್ಳಬೇಕಾದ ಪ್ರತಿ ಸಬ್‌ಡೊಮೇನ್‌ಗೂ ಅವನ್ನು ಸೇರಿಸಿ.

Anthropic ನ ವ್ಯವಸ್ಥೆ OpenAI ಮತ್ತು Perplexity ಗೆ ಹೋಲಿಸಿದರೆ ಹೇಗಿದೆ?

ಮೂರೂ ಮಾರಾಟಗಾರರು ಬೇರೆ ಹೆಸರುಗಳೊಂದಿಗೆ ಒಂದೇ ಮಾದರಿಯನ್ನು ಅನುಸರಿಸುತ್ತಾರೆ, ಇದರಿಂದ ಸಂಯೋಜಿತ robots.txt ಕುರಿತು ಯೋಚಿಸುವುದು ಸುಲಭ. ಮುಖ್ಯ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಬಳಕೆದಾರರ ಕೋರಿಕೆಯ ನೇರ ಫೆಚ್‌ಗಳಿಗೆ ಪ್ರತಿಯೊಬ್ಬರೂ robots.txt ಅನ್ನು ಹೇಗೆ ಪರಿಗಣಿಸುತ್ತಾರೆ ಎಂಬುದು.

ಮೂರಕ್ಕೂ ಒಂದೇ robots.txt ಬರೆಯುವುದಾದರೆ, ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಟೋಕನ್‌ಗಳನ್ನು ಒಂದು ಗುಂಪಿನಲ್ಲಿ, ತರಬೇತಿ ಟೋಕನ್‌ಗಳನ್ನು ಇನ್ನೊಂದರಲ್ಲಿ ಇರಿಸಿ. ಇದರಿಂದ ನೀತಿ ಓದಲು ಸುಲಭವಾಗುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ ಉದ್ದೇಶಕ್ಕೆ ನೀವು ಯಾವ ಆಯ್ಕೆ ಮಾಡಿದ್ದೀರಿ ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗುತ್ತದೆ.

Anthropic ಅನ್ನು IP ವಿಳಾಸದಿಂದ ತಡೆಯಬೇಕೇ?

Anthropic ಅದರ ವಿರುದ್ಧ ಸಲಹೆ ನೀಡುತ್ತದೆ. IP ವಿಳಾಸಗಳನ್ನು ತಡೆಯುವುದು ಸರಿಯಾಗಿ ಕೆಲಸ ಮಾಡದಿರಬಹುದು ಅಥವಾ ಹೊರಗುಳಿಯುವಿಕೆಯನ್ನು ಶಾಶ್ವತವಾಗಿ ಖಾತರಿಪಡಿಸದಿರಬಹುದು ಎಂದು ಅದರ ದಾಖಲೆಗಳು ಹೇಳುತ್ತವೆ, ಏಕೆಂದರೆ ಅದು ಕ್ರಾಲರ್ ನಿಮ್ಮ robots.txt ಓದುವುದನ್ನೂ ನಿಲ್ಲಿಸುತ್ತದೆ. ನಿಮ್ಮ ನೀತಿಯನ್ನು ಹೇಳಲು robots.txt ಬಳಸಿ.

Anthropic ತನ್ನ ಕ್ರಾಲರ್ IP ವಿಳಾಸಗಳನ್ನು claude.com/crawling/bots.json ನಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತದೆ. ಆ ಪಟ್ಟಿಯನ್ನು ಬಳಸುವ ಉಪಯುಕ್ತ ಮಾರ್ಗ ತಡೆಯುವುದಕ್ಕೆ ವಿರುದ್ಧವಾದದ್ದು: Claude-SearchBot ಅಥವಾ Claude-User ಎಂದು ಹೇಳಿಕೊಳ್ಳುವ ವಿನಂತಿ ನಿಜವಾಗಿಯೂ Anthropic ನಿಂದ ಬರುತ್ತಿದೆಯೇ ಎಂದು ನಿಮ್ಮ ಫೈರ್‌ವಾಲ್ ಪರಿಶೀಲಿಸಿ ಅದನ್ನು ಒಳಬಿಡಲಿ.

ಆದರೂ Claude ನನ್ನ ಪುಟವನ್ನು ಓದಲು ಏಕೆ ವಿಫಲವಾಗಬಹುದು?

robots.txt ಅನುಮತಿಸಿದ್ದರೂ, ನಿಮ್ಮ ಫೈರ್‌ವಾಲ್ ಅಥವಾ CDN Anthropic ನ ಏಜೆಂಟ್‌ಗಳಿಗೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟದಿಂದ ಉತ್ತರಿಸಬಹುದು. ತನ್ನ ಬಾಟ್‌ಗಳು ತಪ್ಪಿಸಿಕೊಳ್ಳುವಿಕೆ-ವಿರೋಧಿ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಗೌರವಿಸುತ್ತವೆ ಮತ್ತು CAPTCHA ಗಳನ್ನು ದಾಟಲು ಪ್ರಯತ್ನಿಸುವುದಿಲ್ಲ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಚಾಲೆಂಜ್ ಪುಟ ಬಂದರೆ ಭೇಟಿ ಅಲ್ಲಿಗೇ ಮುಗಿಯುತ್ತದೆ. JavaScript ಚಲಿಸಿದ ನಂತರವಷ್ಟೇ ಪಠ್ಯ ಕಾಣಿಸುವ ಪುಟಗಳೂ ಬಹುತೇಕ ಖಾಲಿಯಾಗಿ ತಲುಪಬಹುದು.

AISeeWhy ನಿಮ್ಮ ಪುಟವನ್ನು ClaudeBot, Claude-SearchBot ಮತ್ತು Claude-User ಆಗಿ ಬ್ರೌಸರ್ ಜೊತೆಗೆ ವಿನಂತಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರತಿಯೊಂದಕ್ಕೂ ನಿಮ್ಮ robots.txt ನಿಯಮಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ, ಆಗ ನೀವು ಬರೆದ ನೀತಿಯನ್ನೇ ನಿಮ್ಮ ಸರ್ವರ್ ಜಾರಿಗೊಳಿಸುತ್ತಿದೆಯೇ ಎಂದು ನೋಡಬಹುದು.

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

ClaudeBot ತಡೆದರೆ ನನ್ನ ಸೈಟ್ Claude ನ ಉತ್ತರಗಳಿಂದ ಹೊರಹೋಗುತ್ತದೆಯೇ?

ಅದೊಂದರಿಂದಲೇ ಇಲ್ಲ. ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸಿಂಗ್ ಮತ್ತು ಬಳಕೆದಾರ ಕೇಳುವ ಫೆಚ್‌ಗಳು Claude-SearchBot ಮತ್ತು Claude-User ಬಳಸುತ್ತವೆ, ಅವುಗಳಿಗೆ ತಮ್ಮದೇ robots.txt ಟೋಕನ್‌ಗಳಿವೆ.

Claude-User robots.txt ಪಾಲಿಸುತ್ತದೆಯೇ?

ತನ್ನ ಬಾಟ್‌ಗಳು robots.txt ಅನ್ನು ಗೌರವಿಸುತ್ತವೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ ಮತ್ತು ಅಲ್ಲಿ Claude-User ತಡೆಯುವುದನ್ನು ವಿವರಿಸುತ್ತದೆ; ಅದರ ಪರಿಣಾಮವಾಗಿ ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗಳಿಗೆ Claude ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಪಡೆಯಲಾರದು.

Anthropic ನ ಕ್ರಾಲರ್‌ಗಳು CAPTCHA ಪರಿಹರಿಸುತ್ತವೆಯೇ?

ಇಲ್ಲ. ತನ್ನ ಬಾಟ್‌ಗಳು ತಪ್ಪಿಸಿಕೊಳ್ಳುವಿಕೆ-ವಿರೋಧಿ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಗೌರವಿಸುತ್ತವೆ ಮತ್ತು CAPTCHA ಗಳನ್ನು ದಾಟಲು ಪ್ರಯತ್ನಿಸುವುದಿಲ್ಲ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ.

ClaudeBot ಅನ್ನು ತಡೆಯುವ ಬದಲು ನಿಧಾನಗೊಳಿಸಬಹುದೇ?

ಹೌದು. Anthropic Crawl-delay ಅನ್ನು ಮಾನದಂಡವಲ್ಲದ ವಿಸ್ತರಣೆಯಾಗಿ ಬೆಂಬಲಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ನಿಮ್ಮ robots.txt ನ ClaudeBot ಗುಂಪಿನಲ್ಲಿ Crawl-delay: 1.

ವಿನಂತಿ ನಿಜವಾಗಿಯೂ Anthropic ನಿಂದ ಬರುತ್ತಿದೆ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

ಮೂಲ IP ಅನ್ನು Anthropic claude.com/crawling/bots.json ನಲ್ಲಿ ಪ್ರಕಟಿಸುವ ಪಟ್ಟಿಯೊಂದಿಗೆ ಹೋಲಿಸಿ. user agent ಒಂದನ್ನೇ ಯಾರು ಬೇಕಾದರೂ ನಕಲಿಸಬಹುದು.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು