ClaudeBot
ClaudeBot ಎಂಬುದು Anthropic ನ ಜನರೇಟಿವ್ AI ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವೆಬ್ ವಿಷಯಕ್ಕಾಗಿ ಇರುವ ಕ್ರಾಲರ್. robots.txt ನಲ್ಲಿ ಇದನ್ನು ನಿಷೇಧಿಸುವುದು ನಿಮ್ಮ ಸೈಟ್ನ ಭವಿಷ್ಯದ ವಿಷಯವನ್ನು ತರಬೇತಿಯಿಂದ ಹೊರಗಿಡಬೇಕು ಎಂದು ಸೂಚಿಸುತ್ತದೆ. ಇದನ್ನು ಮಾತ್ರ ತಡೆಯುವುದು ಹುಡುಕಾಟ ಮತ್ತು ನೇರ ಉತ್ತರಗಳನ್ನು ನೀಡುವ Claude-SearchBot ಅಥವಾ Claude-User ಅನ್ನು ನಿಲ್ಲಿಸುವುದಿಲ್ಲ.
ಇದನ್ನು ಹೇಗೆ ಅನುಮತಿಸುವುದು
User-agent: ClaudeBot
Allow: / ಇದನ್ನು ಹೇಗೆ ತಡೆಯುವುದು
User-agent: ClaudeBot
Disallow: / ಇದು ಏನು ಮಾಡುತ್ತದೆ
ClaudeBot ತನ್ನ ಮಾದರಿಗಳ ಉಪಯುಕ್ತತೆ ಮತ್ತು ಸುರಕ್ಷತೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ಅವುಗಳ ತರಬೇತಿಗೆ ಕೊಡುಗೆ ನೀಡಬಹುದಾದ ವೆಬ್ ವಿಷಯವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. ClaudeBot ಅನ್ನು ನಿಷೇಧಿಸುವುದು ನಿಮ್ಮ ಸೈಟ್ನ ಭವಿಷ್ಯದ ವಸ್ತುಗಳನ್ನು ತರಬೇತಿ ಡೇಟಾಸೆಟ್ಗಳಿಂದ ಹೊರಗಿಡಬೇಕು ಎಂದು ಸೂಚಿಸುತ್ತದೆ.
Anthropic ಪ್ರಮಾಣಿತವಲ್ಲದ Crawl-delay ನಿರ್ದೇಶನವನ್ನೂ ಬೆಂಬಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ClaudeBot ಅನ್ನು ತಡೆಯುವ ಬದಲು ನಿಧಾನಗೊಳಿಸಬಹುದು. robots.txt ನಲ್ಲಿ ClaudeBot ಅನ್ನು ಹೆಸರಿಸುವ ನಿಯಮಗಳು Anthropic ನ ಸಾಮಾನ್ಯ no-AI-training ಸಂಕೇತಕ್ಕಿಂತ ಆದ್ಯತೆ ಪಡೆಯುತ್ತವೆ. robots.txt ನಿಯಮಗಳು ಪ್ರತಿ ಹೋಸ್ಟ್ಗೆ ಅನ್ವಯಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ನೀವು ಒಳಗೊಳ್ಳಲು ಬಯಸುವ ಪ್ರತಿ ಸಬ್ಡೊಮೇನ್ಗೂ ಅವನ್ನು ಸೇರಿಸಿ.
ನಮ್ಮ 2026-11 ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ಇರುವ ಜನಪ್ರಿಯ ಸೈಟ್ಗಳಲ್ಲಿ 21.2% ಇದನ್ನು ತಡೆದಿದ್ದವು. →
robots.txt ಟೋಕನ್
ClaudeBot
ನಿಜವಾದ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
Anthropic ತನ್ನ ಕ್ರಾಲರ್ಗಳ IP ವಿಳಾಸಗಳನ್ನು claude.com/crawling/bots.json ನಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತದೆ ಮತ್ತು ಆ ಪಟ್ಟಿಯಲ್ಲಿ IP ಇರುವ ಕ್ರಾಲರ್ Anthropic ನಿಂದ ಬಂದದ್ದು ಎಂದು ಹೇಳುತ್ತದೆ. user agent ಅನ್ನು ನಂಬುವ ಬದಲು ಮೂಲ IP ಅನ್ನು ಪಟ್ಟಿಯೊಂದಿಗೆ ಹೊಂದಿಸಿ. ಹೊರಗುಳಿಯಲು IP ತಡೆ ಬಳಸದಂತೆ Anthropic ಸಲಹೆ ನೀಡುತ್ತದೆ, ಏಕೆಂದರೆ ಅದು ಕ್ರಾಲರ್ robots.txt ಓದುವುದನ್ನೂ ನಿಲ್ಲಿಸುತ್ತದೆ.
ನಿಮ್ಮ ಸೈಟ್ ಇದನ್ನು ಒಳಗೆ ಬಿಡುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ →
Anthropic ನ ಕ್ರಾಲರ್ಗಳು: ClaudeBot, Claude-SearchBot ಮತ್ತು Claude-User →