Claude-User
ஒரு Claude பயனர் கேட்கும் கேள்விக்குத் தேவைப்படும்போது, எடுத்துக்காட்டாகப் பகிரப்பட்ட இணைப்பைப் படிக்க, Claude-User ஒரு இணையதளத்துக்கு வருகிறது. தனது பாட்கள் robots.txt-ஐ மதிக்கின்றன என்றும், Claude-User-ஐத் தடுப்பது பயனர் கேள்விகளுக்குப் பதிலாக உங்கள் உள்ளடக்கம் பெறப்படுவதைத் தடுக்கும், இது பயனர் இயக்கும் இணையத் தேடலில் உங்கள் தெரிவுநிலையைக் குறைக்கலாம் என்றும் Anthropic சொல்கிறது.
இதை எப்படி அனுமதிப்பது
User-agent: Claude-User
Allow: / இதை எப்படித் தடுப்பது
User-agent: Claude-User
Disallow: / இது என்ன செய்கிறது
Claude பயனர்களுக்கு உதவ Anthropic, Claude-User-ஐப் பயன்படுத்துகிறது: ஒருவர் Claude-இடம் கேள்வி கேட்கும்போது, பதிலளிக்க அது ஓர் இணையதளத்தை அணுகலாம். இவை ஒரு பயனரின் சார்பாகச் செய்யப்படும் தனிப் பெறுதல்கள், பொதுவான crawl அல்ல.
தங்கள் பயனர் கோரும் fetcher-கள் robots.txt-ஐப் பின்பற்றாமல் போகலாம் என்று சொல்லும் OpenAI, Perplexity போலல்லாமல், தனது பாட்கள் robots.txt கட்டளைகளை மதிக்கின்றன என்று Anthropic கூறுகிறது, அங்கே Claude-User-ஐத் தடுக்கும் முறையையும் விவரிக்கிறது. அப்படிச் செய்தால், பயனர்கள் உங்கள் பக்கங்களைப் பற்றிக் கேட்கும்போது Claude அவற்றைப் பெற முடியாது.
எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 13.1% இதைத் தடுத்தன. →
robots.txt டோக்கன்
Claude-User
உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது
Anthropic தனது கிராலர்களின் IP முகவரிகளை claude.com/crawling/bots.json-இல் வெளியிடுகிறது; அந்தப் பட்டியலில் IP உள்ள கிராலர் Anthropic-இடமிருந்து வருகிறது என்றும் சொல்கிறது. User agent-ஐ நம்புவதற்குப் பதிலாக மூல IP-ஐ அந்தப் பட்டியலுடன் ஒப்பிடுங்கள். விலகுவதற்கு IP தடுப்பைப் பயன்படுத்த வேண்டாம் என்று Anthropic அறிவுறுத்துகிறது, ஏனெனில் அது கிராலர் robots.txt-ஐப் படிப்பதையும் தடுக்கிறது.
உங்கள் தளம் இதை உள்ளே விடுகிறதா என்று சரிபாருங்கள் →
Anthropic கிராலர்கள்: ClaudeBot, Claude-SearchBot, Claude-User →