ClaudeBot

Anthropic · AI பயிற்சி

ClaudeBot என்பது Anthropic-இன் கிராலர்; அது சேகரிக்கும் இணைய உள்ளடக்கம் அதன் generative AI மாதிரிகளைப் பயிற்றுவிக்கப் பயன்படலாம். robots.txt-இல் இதற்கு அனுமதி மறுப்பது, உங்கள் தளத்தின் எதிர்கால உள்ளடக்கம் பயிற்சியிலிருந்து விலக்கப்பட வேண்டும் என்று குறிக்கிறது. இதை மட்டும் தடுப்பது, தேடலுக்கும் நேரடிப் பதில்களுக்கும் சேவை செய்யும் Claude-SearchBot அல்லது Claude-User-ஐ நிறுத்தாது.

இதை எப்படி அனுமதிப்பது

User-agent: ClaudeBot
Allow: /

இதை எப்படித் தடுப்பது

User-agent: ClaudeBot
Disallow: /

இது என்ன செய்கிறது

ClaudeBot தனது மாதிரிகளின் பயிற்சிக்குப் பங்களிக்கக்கூடிய இணைய உள்ளடக்கத்தைச் சேகரிக்கிறது, அவற்றின் பயன்பாட்டையும் பாதுகாப்பையும் மேம்படுத்த உதவுவதற்காக என்று Anthropic சொல்கிறது. ClaudeBot-க்கு அனுமதி மறுப்பது, உங்கள் தளத்தின் எதிர்காலப் பொருட்கள் பயிற்சித் தரவுத்தொகுப்புகளிலிருந்து விலக்கப்பட வேண்டும் என்று குறிக்கிறது.

Anthropic தரநிலையல்லாத Crawl-delay கட்டளையையும் ஆதரிக்கிறது, எனவே ClaudeBot-ஐத் தடுப்பதற்குப் பதிலாக அதன் வேகத்தைக் குறைக்கலாம். robots.txt-இல் ClaudeBot-ஐப் பெயரிடும் விதிகள், Anthropic-இன் பொதுவான no-AI-training சமிக்ஞையை விட முன்னுரிமை பெறுகின்றன. robots.txt விதிகள் ஒவ்வொரு host-க்கும் தனியாகப் பொருந்தும், எனவே நீங்கள் உள்ளடக்க விரும்பும் ஒவ்வொரு subdomain-இலும் அவற்றைச் சேர்க்கவும்.

எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 21.2% இதைத் தடுத்தன. →

robots.txt டோக்கன்

ClaudeBot

உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது

Anthropic தனது கிராலர்களின் IP முகவரிகளை claude.com/crawling/bots.json-இல் வெளியிடுகிறது; அந்தப் பட்டியலில் IP உள்ள கிராலர் Anthropic-இடமிருந்து வருகிறது என்றும் சொல்கிறது. User agent-ஐ நம்புவதற்குப் பதிலாக மூல IP-ஐ அந்தப் பட்டியலுடன் ஒப்பிடுங்கள். விலகுவதற்கு IP தடுப்பைப் பயன்படுத்த வேண்டாம் என்று Anthropic அறிவுறுத்துகிறது, ஏனெனில் அது கிராலர் robots.txt-ஐப் படிப்பதையும் தடுக்கிறது.

உங்கள் தளம் இதை உள்ளே விடுகிறதா என்று சரிபாருங்கள் →

Anthropic கிராலர்கள்: ClaudeBot, Claude-SearchBot, Claude-User →