Anthropic கிராலர்கள்: ClaudeBot, Claude-SearchBot, Claude-User

வெளியிடப்பட்டது

சுருக்கமான பதில்

Anthropic மூன்று ஏஜென்ட்களை இயக்குகிறது: ClaudeBot அதன் மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படக்கூடிய உள்ளடக்கத்தைச் சேகரிக்கிறது, Claude-SearchBot Claude-இன் தேடல் முடிவுகளை மேம்படுத்தக் கிரால் செய்கிறது, ஒரு Claude பயனரின் கேள்விக்குத் தேவைப்படும்போது Claude-User பக்கங்களைப் பெறுகிறது. ஒவ்வொன்றுக்கும் சொந்த robots.txt டோக்கன் உண்டு; மூன்றுமே robots.txt-ஐ மதிப்பதாக Anthropic கூறுகிறது. ClaudeBot-ஐ மட்டும் தடுப்பது தேடலையோ பயனர் fetches-ஐயோ நிறுத்தாது.

Anthropic தன் கிராலர்களை ஒரே உதவிப் பக்கத்தில் ஆவணப்படுத்துகிறது; அமைப்பு மற்ற AI நிறுவனங்களைப் போன்றதே: பயிற்சிக்கு ஒரு ஏஜென்ட், தேடலுக்கு ஒன்று, பயனர் சார்பாக நேரலைப் பெறுதலுக்கு ஒன்று. Claude உங்கள் பக்கங்களைக் கண்டறிந்து மேற்கோள் காட்ட வேண்டுமெனில், கடைசி இரண்டே மிக முக்கியம்.

இந்தப் பக்கத்தில்
  1. ClaudeBot என்ன செய்கிறது?
  2. Claude-SearchBot என்ன செய்கிறது?
  3. Claude-User என்ன செய்கிறது?
  4. Claude-க்கு robots.txt விதிகளை எப்படி எழுதுவது?
  5. Anthropic-இன் அமைப்பு OpenAI, Perplexity-உடன் எப்படி ஒப்பிடுகிறது?
  6. Anthropic-ஐ IP முகவரி மூலம் தடுக்க வேண்டுமா?
  7. Claude இன்னும் என் பக்கத்தைப் படிக்கத் தவறுவது ஏன்?

ClaudeBot என்ன செய்கிறது?

Anthropic-இன் generative AI மாடல்களின் பயிற்சிக்குப் பங்களிக்கக்கூடிய வலை உள்ளடக்கத்தை ClaudeBot சேகரிக்கிறது. Anthropic-இன்படி, அதைத் தடுப்பது உங்கள் தளத்தின் எதிர்கால உள்ளடக்கம் பயிற்சித் தரவுத்தொகுப்புகளிலிருந்து விலக்கப்பட வேண்டும் என்று தெரிவிக்கிறது.

IETF வரைவை அடிப்படையாகக் கொண்ட machine-readable no-AI-training signal-ஐ மதிப்பதாகவும், robots.txt-இல் ClaudeBot-ஐப் பெயரிடும் விதிகள் அந்தப் பொது அமைப்பைவிட முன்னுரிமை பெறுவதாகவும் Anthropic கூறுகிறது. மற்ற பயிற்சி கிராலர்களைப் போலவே, அதைத் தடுப்பது ஒரு கொள்கைத் தேர்வு.

Claude-SearchBot என்ன செய்கிறது?

Claude-இல் தேடல் முடிவுகளின் பொருத்தத்தையும் துல்லியத்தையும் மேம்படுத்த Claude-SearchBot வலையைக் கிரால் செய்கிறது. அதைத் தடுப்பது உங்கள் உள்ளடக்கம் தேடலுக்காகக் குறியிடப்படுவதைத் தடுக்கும், இதனால் பயனர் தேடல் முடிவுகளில் உங்கள் தெரிவுநிலையும் துல்லியமும் குறையலாம் என்று Anthropic கூறுகிறது.

யாராவது கேட்பதற்கு முன்பே Claude-இன் தேடல் அம்சங்களுக்கு உங்கள் பக்கங்கள் தெரிய வேண்டுமெனில், அனுமதிக்க வேண்டிய ஏஜென்ட் இதுதான். இது ஒரு தேடல் கிராலர் என்பதால், எந்தத் தேடல் கிராலருக்கும் உதவுபவை இதற்கும் உதவும்: robots.txt-இல் பட்டியலிடப்பட்ட sitemap, சுத்தமான உள் இணைப்புகள், முதல் பதிலிலேயே உள்ளடக்கத்தைத் தரும் பக்கங்கள்.

Claude-User என்ன செய்கிறது?

ஒரு Claude பயனர் இணையதளம் தேவைப்படும் கேள்வியைக் கேட்கும்போது, உதாரணமாக யாராவது ஒரு URL-ஐப் பகிரும்போது அல்லது எதையாவது தேடுமாறு Claude-இடம் கேட்கும்போது, Claude-User அதை அணுகுகிறது. அதைத் தடுப்பது பயனர் கேள்விகளுக்குப் பதிலாகப் பெறுவதைத் தடுக்கும், இதனால் பயனர் இயக்கும் வலைத் தேடலில் உங்கள் தெரிவுநிலை குறையலாம் என்று Anthropic கூறுகிறது.

சில மற்ற நிறுவனங்களுடன் உள்ள ஒரு வேறுபாட்டைக் கவனியுங்கள். தன் பாட்கள் robots.txt கட்டளைகளை மதிப்பதாக Anthropic கூறுகிறது, robots.txt மூலம் Claude-User-ஐத் தடுப்பதையும் விவரிக்கிறது. மாறாக, தங்கள் பயனர் கோரும் fetchers robots.txt-ஐப் பின்பற்றாமல் போகலாம் என்று OpenAI, Perplexity கூறுகின்றன.

Claude-க்கு robots.txt விதிகளை எப்படி எழுதுவது?

ஒவ்வொரு ஏஜென்ட்டுக்கும் சொந்த டோக்கன் உண்டு; RFC 9309-இன்படி ஒரு கிராலரைப் பெயரிடும் குழு அந்தக் கிராலருக்கு * குழுவை மாற்றிவிடுகிறது. தேடலையும் பயனர் fetches-ஐயும் அனுமதித்துப் பயிற்சியிலிருந்து விலகுவது ஒரு பொதுவான தேர்வு:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

கிராலிங்கைத் தடுப்பதற்குப் பதிலாக மெதுவாக்க விரும்பினால், Anthropic தரநிலையல்லாத நீட்டிப்பாக Crawl-delay-ஐயும் ஆதரிக்கிறது, உதாரணமாக User-agent: ClaudeBot-இன் கீழ் Crawl-delay: 1. விதிகள் ஒவ்வொரு host-இன் உயர்நிலைக் கோப்பகத்தில் உள்ள robots.txt-இல் இருக்க வேண்டும்; எனவே நீங்கள் உள்ளடக்க விரும்பும் ஒவ்வொரு subdomain-இலும் அவற்றைச் சேருங்கள்.

Anthropic-இன் அமைப்பு OpenAI, Perplexity-உடன் எப்படி ஒப்பிடுகிறது?

மூன்று நிறுவனங்களும் வெவ்வேறு பெயர்களுடன் ஒரே முறையைப் பின்பற்றுகின்றன; இதனால் ஒருங்கிணைந்த robots.txt-ஐப் புரிந்துகொள்வது எளிது. முக்கிய வேறுபாடு, பயனர் கோரிக்கையின் பேரில் நேரலைப் பெறுதலுக்கு ஒவ்வொன்றும் robots.txt-ஐ எப்படி நடத்துகிறது என்பதே.

மூன்றுக்கும் ஒரே robots.txt எழுதினால், தேடல் மற்றும் பயனர் டோக்கன்களை ஒரு குழுவிலும் பயிற்சி டோக்கன்களை மற்றொரு குழுவிலும் வையுங்கள். இது கொள்கையைப் படிக்க எளிதாக்குகிறது, ஒவ்வொரு நோக்கத்துக்கும் நீங்கள் என்ன தேர்வு செய்தீர்கள் என்பதைத் தெளிவாக்குகிறது.

Anthropic-ஐ IP முகவரி மூலம் தடுக்க வேண்டுமா?

Anthropic அதைப் பரிந்துரைக்கவில்லை. IP முகவரிகளைத் தடுப்பது சரியாக வேலை செய்யாமல் போகலாம் அல்லது விலகலை நிலையாக உறுதிசெய்யாமல் போகலாம் என்று அதன் ஆவணங்கள் கூறுகின்றன, ஏனெனில் அது கிராலர் உங்கள் robots.txt-ஐப் படிப்பதையும் நிறுத்துகிறது. உங்கள் கொள்கையைத் தெரிவிக்க robots.txt-ஐப் பயன்படுத்துங்கள்.

Anthropic தன் கிராலர் IP முகவரிகளை claude.com/crawling/bots.json-இல் வெளியிடுகிறது. அந்தப் பட்டியலைப் பயன்படுத்தும் பயனுள்ள வழி தடுப்பதற்கு நேர்மாறானது: Claude-SearchBot அல்லது Claude-User எனக் கூறும் கோரிக்கை உண்மையில் Anthropic-இடமிருந்து வருகிறதா என்று உங்கள் ஃபயர்வால் சரிபார்த்து அதை உள்ளே விடட்டும்.

Claude இன்னும் என் பக்கத்தைப் படிக்கத் தவறுவது ஏன்?

robots.txt அனுமதித்தாலும், உங்கள் ஃபயர்வால் அல்லது CDN Anthropic-இன் ஏஜென்ட்களுக்கு 403 அல்லது challenge பக்கத்துடன் பதிலளிக்கலாம். தன் பாட்கள் தவிர்ப்பு-எதிர்ப்புத் தொழில்நுட்பங்களை மதிப்பதாகவும் CAPTCHA-க்களைக் கடக்க முயலாது என்றும் Anthropic கூறுகிறது; எனவே challenge பக்கம் வருகையை அங்கேயே முடித்துவிடுகிறது. JavaScript இயங்கிய பிறகே உரை தோன்றும் பக்கங்களும் கிட்டத்தட்ட வெறுமையாக வந்து சேரலாம்.

AISeeWhy உங்கள் பக்கத்தை ஒரு உலாவியுடன் சேர்த்து ClaudeBot, Claude-SearchBot, Claude-User ஆகக் கோரி, ஒவ்வொன்றுக்கும் உங்கள் robots.txt விதிகளைச் சரிபார்க்கிறது; இதனால் நீங்கள் எழுதிய கொள்கையைத்தான் உங்கள் சர்வர் அமல்படுத்துகிறதா என்று பார்க்கலாம்.

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

ClaudeBot-ஐத் தடுத்தால் என் தளம் Claude பதில்களிலிருந்து நீக்கப்படுமா?

அது மட்டும் போதாது. தேடல் குறியிடலும் பயனர் கோரும் fetches-உம் Claude-SearchBot, Claude-User-ஐப் பயன்படுத்துகின்றன; அவற்றுக்குச் சொந்த robots.txt டோக்கன்கள் உள்ளன.

Claude-User robots.txt-ஐப் பின்பற்றுகிறதா?

தன் பாட்கள் robots.txt-ஐ மதிப்பதாக Anthropic கூறுகிறது, அங்கே Claude-User-ஐத் தடுப்பதையும் விவரிக்கிறது; அதன் விளைவாகப் பயனர் கேள்விகளுக்கு Claude உங்கள் பக்கங்களைப் பெற முடியாது.

Anthropic-இன் கிராலர்கள் CAPTCHA-வைத் தீர்க்குமா?

இல்லை. தன் பாட்கள் தவிர்ப்பு-எதிர்ப்புத் தொழில்நுட்பங்களை மதிப்பதாகவும் CAPTCHA-க்களைக் கடக்க முயலாது என்றும் Anthropic கூறுகிறது.

ClaudeBot-ஐத் தடுப்பதற்குப் பதிலாக மெதுவாக்க முடியுமா?

ஆம். Anthropic தரநிலையல்லாத நீட்டிப்பாக Crawl-delay-ஐ ஆதரிக்கிறது, உதாரணமாக உங்கள் robots.txt-இன் ClaudeBot குழுவில் Crawl-delay: 1.

ஒரு கோரிக்கை உண்மையில் Anthropic-இடமிருந்து வருகிறதா என்று எப்படிச் சரிபார்ப்பது?

மூல IP-ஐ Anthropic claude.com/crawling/bots.json-இல் வெளியிடும் பட்டியலுடன் ஒப்பிடுங்கள். User agent-ஐ மட்டும் யார் வேண்டுமானாலும் நகலெடுக்கலாம்.

மூலங்கள்

மேலும் கட்டுரைகள்