Claude-SearchBot

Anthropic · AI தேடல்

Claude-இல் தேடல் முடிவுகளின் பொருத்தத்தையும் துல்லியத்தையும் மேம்படுத்த Claude-SearchBot இணையத்தை crawl செய்கிறது. இதைத் தடுப்பது உங்கள் உள்ளடக்கம் தேடலுக்காக index செய்யப்படுவதைத் தடுக்கிறது, இது பயனர் தேடல் முடிவுகளில் உங்கள் தெரிவுநிலையையும் துல்லியத்தையும் குறைக்கலாம் என்று Anthropic சொல்கிறது. Claude உங்கள் பக்கங்களைக் கண்டறிந்து மேற்கோள் காட்ட வேண்டுமெனில், இதை அனுமதியுங்கள்.

இதை எப்படி அனுமதிப்பது

User-agent: Claude-SearchBot
Allow: /

இதை எப்படித் தடுப்பது

User-agent: Claude-SearchBot
Disallow: /

இது என்ன செய்கிறது

இணையத்தில் பயணித்து Claude பயனர்களுக்கான தேடல் முடிவுகளின் தரத்தை மேம்படுத்த Anthropic, Claude-SearchBot-ஐப் பயன்படுத்துகிறது. இது பயிற்சி கிராலரான ClaudeBot-இலிருந்து தனியானது, எனவே பயிற்சியிலிருந்து விலகியபடியே தேடலை அனுமதிக்கலாம்.

Claude-SearchBot-ஐ முடக்குவது தேடல் மேம்படுத்தலுக்காக உங்கள் உள்ளடக்கம் index செய்யப்படுவதைத் தடுக்கிறது, இது பயனர் தேடல் முடிவுகளில் உங்கள் தளத்தின் தெரிவுநிலையையும் துல்லியத்தையும் குறைக்கலாம் என்று Anthropic சொல்கிறது. Anthropic-இன் பாட்கள் robots.txt-ஐ மதிக்கின்றன, பாதுகாப்பைச் சுற்றிச் செல்வதற்கு எதிரான நடவடிக்கைகளையும் மதிக்கின்றன, எனவே ஒரு CAPTCHA அல்லது challenge பக்கம் வருகையை முடித்துவிடும்.

எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 12.9% இதைத் தடுத்தன. →

robots.txt டோக்கன்

Claude-SearchBot

உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது

Anthropic தனது கிராலர்களின் IP முகவரிகளை claude.com/crawling/bots.json-இல் வெளியிடுகிறது; அந்தப் பட்டியலில் IP உள்ள கிராலர் Anthropic-இடமிருந்து வருகிறது என்றும் சொல்கிறது. User agent-ஐ நம்புவதற்குப் பதிலாக மூல IP-ஐ அந்தப் பட்டியலுடன் ஒப்பிடுங்கள். விலகுவதற்கு IP தடுப்பைப் பயன்படுத்த வேண்டாம் என்று Anthropic அறிவுறுத்துகிறது, ஏனெனில் அது கிராலர் robots.txt-ஐப் படிப்பதையும் தடுக்கிறது.

உங்கள் தளம் இதை உள்ளே விடுகிறதா என்று சரிபாருங்கள் →

Anthropic கிராலர்கள்: ClaudeBot, Claude-SearchBot, Claude-User →