Anthropic-ന്റെ ക്രോളറുകൾ: ClaudeBot, Claude-SearchBot, Claude-User
Anthropic മൂന്ന് ഏജന്റുകൾ പ്രവർത്തിപ്പിക്കുന്നു: ClaudeBot അതിന്റെ മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിച്ചേക്കാവുന്ന ഉള്ളടക്കം ശേഖരിക്കുന്നു, Claude-SearchBot Claude-ന്റെ സെർച്ച് ഫലങ്ങൾ മെച്ചപ്പെടുത്താൻ ക്രോൾ ചെയ്യുന്നു, ഒരു Claude ഉപയോക്താവിന്റെ ചോദ്യത്തിന് ആവശ്യമുള്ളപ്പോൾ Claude-User പേജുകൾ എടുക്കുന്നു. ഓരോന്നിനും സ്വന്തം robots.txt ടോക്കൺ ഉണ്ട്, മൂന്നും robots.txt പാലിക്കുന്നുവെന്ന് Anthropic പറയുന്നു. ClaudeBot മാത്രം തടയുന്നത് സെർച്ചോ ഉപയോക്തൃ ഫെച്ചുകളോ നിർത്തുന്നില്ല.
Anthropic അതിന്റെ ക്രോളറുകളെ ഒരൊറ്റ സഹായ പേജിൽ രേഖപ്പെടുത്തുന്നു, ഘടന മറ്റ് AI കമ്പനികളുടേതിന് സമാനമാണ്: പരിശീലനത്തിന് ഒരു ഏജന്റ്, സെർച്ചിന് ഒന്ന്, ഉപയോക്താവിന് വേണ്ടിയുള്ള തത്സമയ ഫെച്ചുകൾക്ക് ഒന്ന്. Claude-ന് നിങ്ങളുടെ പേജുകൾ കണ്ടെത്താനും ഉദ്ധരിക്കാനും കഴിയണമെങ്കിൽ, അവസാനത്തെ രണ്ടെണ്ണമാണ് ഏറ്റവും പ്രധാനം.
ഈ പേജിൽ
- ClaudeBot എന്ത് ചെയ്യുന്നു?
- Claude-SearchBot എന്ത് ചെയ്യുന്നു?
- Claude-User എന്ത് ചെയ്യുന്നു?
- Claude-നായി robots.txt നിയമങ്ങൾ എങ്ങനെ എഴുതാം?
- Anthropic-ന്റെ സജ്ജീകരണം OpenAI, Perplexity എന്നിവയുമായി എങ്ങനെ താരതമ്യം ചെയ്യുന്നു?
- IP വിലാസം വഴി Anthropic-നെ തടയണോ?
- എന്നിട്ടും Claude-ന് എന്റെ പേജ് വായിക്കാനാകാത്തത് എന്തുകൊണ്ട്?
ClaudeBot എന്ത് ചെയ്യുന്നു?
Anthropic-ന്റെ ജനറേറ്റീവ് AI മോഡലുകളുടെ പരിശീലനത്തിന് സംഭാവന ചെയ്തേക്കാവുന്ന വെബ് ഉള്ളടക്കം ClaudeBot ശേഖരിക്കുന്നു. Anthropic പറയുന്നതനുസരിച്ച്, ഇതിനെ വിലക്കുന്നത് നിങ്ങളുടെ സൈറ്റിന്റെ ഭാവി ഉള്ളടക്കം പരിശീലന ഡാറ്റാസെറ്റുകളിൽ നിന്ന് ഒഴിവാക്കണമെന്ന് സൂചിപ്പിക്കുന്നു.
ഒരു IETF ഡ്രാഫ്റ്റിനെ അടിസ്ഥാനമാക്കിയുള്ള, മെഷീൻ-റീഡബിൾ ആയ “AI പരിശീലനം വേണ്ട” സിഗ്നൽ പാലിക്കുന്നുവെന്നും robots.txt-ൽ ClaudeBot എന്ന് പേരെടുത്ത് പറയുന്ന നിയമങ്ങൾക്ക് ആ പൊതു ക്രമീകരണത്തേക്കാൾ മുൻഗണനയുണ്ടെന്നും Anthropic പറയുന്നു. മറ്റ് പരിശീലന ക്രോളറുകളെപ്പോലെ, ഇതിനെ തടയുന്നത് ഒരു നയപരമായ തീരുമാനമാണ്.
Claude-SearchBot എന്ത് ചെയ്യുന്നു?
Claude-ലെ സെർച്ച് ഫലങ്ങളുടെ പ്രസക്തിയും കൃത്യതയും മെച്ചപ്പെടുത്താൻ Claude-SearchBot വെബ് ക്രോൾ ചെയ്യുന്നു. ഇതിനെ തടയുന്നത് നിങ്ങളുടെ ഉള്ളടക്കം സെർച്ചിനായി ഇൻഡക്സ് ചെയ്യപ്പെടുന്നത് തടയുന്നുവെന്നും, ഉപയോക്തൃ സെർച്ച് ഫലങ്ങളിൽ നിങ്ങളുടെ ദൃശ്യതയും കൃത്യതയും കുറച്ചേക്കാമെന്നും Anthropic പറയുന്നു.
ആരെങ്കിലും ചോദിക്കുന്നതിന് മുമ്പുതന്നെ Claude-ന്റെ സെർച്ച് ഫീച്ചറുകൾ നിങ്ങളുടെ പേജുകളെക്കുറിച്ച് അറിയണമെങ്കിൽ അനുവദിക്കേണ്ട ഏജന്റ് ഇതാണ്. ഇതൊരു സെർച്ച് ക്രോളറായതിനാൽ, ഏത് സെർച്ച് ക്രോളറിനും ഗുണം ചെയ്യുന്ന കാര്യങ്ങൾ ഇതിനും ഗുണം ചെയ്യുന്നു: robots.txt-ൽ പട്ടികപ്പെടുത്തിയ സൈറ്റ്മാപ്പ്, വൃത്തിയുള്ള ആന്തരിക ലിങ്കുകൾ, ആദ്യ മറുപടിയിൽ തന്നെ ഉള്ളടക്കം നൽകുന്ന പേജുകൾ.
Claude-User എന്ത് ചെയ്യുന്നു?
ഒരു Claude ഉപയോക്താവ് അത് ആവശ്യമുള്ള ചോദ്യം ചോദിക്കുമ്പോൾ, ഉദാഹരണത്തിന് ആരെങ്കിലും ഒരു URL പങ്കിടുമ്പോഴോ എന്തെങ്കിലും തിരയാൻ Claude-നോട് ആവശ്യപ്പെടുമ്പോഴോ, Claude-User ഒരു വെബ്സൈറ്റ് ആക്സസ് ചെയ്യുന്നു. ഇതിനെ തടയുന്നത് ഉപയോക്തൃ ചോദ്യങ്ങൾക്ക് മറുപടിയായുള്ള വീണ്ടെടുക്കൽ തടയുന്നുവെന്നും, ഉപയോക്താവ് നയിക്കുന്ന വെബ് സെർച്ചിൽ നിങ്ങളുടെ ദൃശ്യത കുറച്ചേക്കാമെന്നും Anthropic പറയുന്നു.
മറ്റ് ചില കമ്പനികളിൽ നിന്നുള്ള ഒരു വ്യത്യാസം ശ്രദ്ധിക്കുക. തങ്ങളുടെ ബോട്ടുകൾ robots.txt നിർദ്ദേശങ്ങൾ പാലിക്കുന്നുവെന്ന് Anthropic വ്യക്തമാക്കുന്നു, robots.txt വഴി Claude-User തടയുന്നതിനെക്കുറിച്ച് വിവരിക്കുകയും ചെയ്യുന്നു. ഇതിന് വിപരീതമായി, ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന തങ്ങളുടെ ഫെച്ചറുകൾ robots.txt പാലിക്കണമെന്നില്ലെന്ന് OpenAI-യും Perplexity-യും പറയുന്നു.
Claude-നായി robots.txt നിയമങ്ങൾ എങ്ങനെ എഴുതാം?
ഓരോ ഏജന്റിനും സ്വന്തം ടോക്കൺ ഉണ്ട്, RFC 9309 അനുസരിച്ച് ഒരു ക്രോളറിന്റെ പേരുള്ള ഗ്രൂപ്പ് ആ ക്രോളറിന് * ഗ്രൂപ്പിനെ മാറ്റിസ്ഥാപിക്കുന്നു. സെർച്ചും ഉപയോക്തൃ ഫെച്ചുകളും അനുവദിക്കുകയും പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകുകയും ചെയ്യുന്നതാണ് ഒരു സാധാരണ തിരഞ്ഞെടുപ്പ്:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / തടയുന്നതിന് പകരം ക്രോളിംഗ് മന്ദഗതിയിലാക്കണമെങ്കിൽ, നിലവാരമില്ലാത്ത ഒരു വിപുലീകരണമായി Anthropic Crawl-delay പിന്തുണയ്ക്കുന്നു, ഉദാഹരണത്തിന് User-agent: ClaudeBot-ന് കീഴിൽ Crawl-delay: 1. നിയമങ്ങൾ ഓരോ ഹോസ്റ്റിന്റെയും ഏറ്റവും മുകളിലെ ഡയറക്ടറിയിലുള്ള robots.txt-ൽ ആയിരിക്കണം, അതിനാൽ നിങ്ങൾ ഉൾക്കൊള്ളാൻ ആഗ്രഹിക്കുന്ന ഓരോ സബ്ഡൊമെയ്നിലും അവ ചേർക്കുക.
Anthropic-ന്റെ സജ്ജീകരണം OpenAI, Perplexity എന്നിവയുമായി എങ്ങനെ താരതമ്യം ചെയ്യുന്നു?
മൂന്ന് കമ്പനികളും വ്യത്യസ്ത പേരുകളോടെ ഒരേ രീതി പിന്തുടരുന്നു, അതിനാൽ ഒരു സംയോജിത robots.txt മനസ്സിലാക്കാൻ എളുപ്പമാണ്. പ്രധാന വ്യത്യാസം ഉപയോക്താവിന്റെ അഭ്യർത്ഥനപ്രകാരമുള്ള തത്സമയ ഫെച്ചുകൾക്ക് ഓരോന്നും robots.txt-നെ എങ്ങനെ കാണുന്നു എന്നതാണ്.
- സെർച്ച് ക്രോളർ: Anthropic-ന്
Claude-SearchBot, OpenAI-ക്ക്OAI-SearchBot, Perplexity-ക്ക്PerplexityBot. - പരിശീലന ക്രോളർ: Anthropic-ന്
ClaudeBot, OpenAI-ക്ക്GPTBot. AI ഫൗണ്ടേഷൻ മോഡലുകൾക്കായി ഉള്ളടക്കം ക്രോൾ ചെയ്യാൻPerplexityBotഉപയോഗിക്കുന്നില്ലെന്ന് Perplexity പറയുന്നു. - ഉപയോക്തൃ ഫെച്ചുകൾ:
Claude-User,ChatGPT-User,Perplexity-User. തങ്ങളുടെ ബോട്ടുകൾ robots.txt പാലിക്കുന്നുവെന്ന് Anthropic പറയുന്നു; robots.txtChatGPT-User-ന് ബാധകമാകണമെന്നില്ലെന്ന് OpenAI പറയുന്നു;Perplexity-Userസാധാരണയായി അത് അവഗണിക്കുന്നുവെന്ന് Perplexity പറയുന്നു.
മൂന്നിനും വേണ്ടി ഒരു robots.txt എഴുതുകയാണെങ്കിൽ, സെർച്ച്, ഉപയോക്തൃ ടോക്കണുകൾ ഒരു ഗ്രൂപ്പിലും പരിശീലന ടോക്കണുകൾ മറ്റൊന്നിലും വെക്കുക. അത് നയം വായിക്കാൻ എളുപ്പമാക്കുകയും ഓരോ ആവശ്യത്തിനും നിങ്ങൾ എന്ത് തിരഞ്ഞെടുത്തുവെന്ന് വ്യക്തമാക്കുകയും ചെയ്യുന്നു.
IP വിലാസം വഴി Anthropic-നെ തടയണോ?
Anthropic അതിനെതിരെ ഉപദേശിക്കുന്നു. IP വിലാസങ്ങൾ തടയുന്നത് ശരിയായി പ്രവർത്തിക്കുകയോ ഒഴിവാകൽ സ്ഥിരമായി ഉറപ്പാക്കുകയോ ചെയ്തേക്കില്ലെന്ന് അതിന്റെ ഡോക്യുമെന്റേഷൻ പറയുന്നു, കാരണം അത് ക്രോളറിനെ നിങ്ങളുടെ robots.txt വായിക്കുന്നതിൽ നിന്നും തടയുന്നു. നിങ്ങളുടെ നയം പ്രസ്താവിക്കാൻ robots.txt ഉപയോഗിക്കുക.
Anthropic അതിന്റെ ക്രോളർ IP വിലാസങ്ങൾ claude.com/crawling/bots.json-ൽ പ്രസിദ്ധീകരിക്കുന്നുണ്ട്. ആ പട്ടിക ഉപയോഗിക്കാനുള്ള ഉപകാരപ്രദമായ മാർഗം തടയലിന്റെ വിപരീതമാണ്: Claude-SearchBot അല്ലെങ്കിൽ Claude-User ആണെന്ന് അവകാശപ്പെടുന്ന ഒരു അഭ്യർത്ഥന യഥാർത്ഥത്തിൽ Anthropic-ൽ നിന്നാണോ എന്ന് നിങ്ങളുടെ ഫയർവാൾ സ്ഥിരീകരിച്ച് അതിനെ കടത്തിവിടട്ടെ.
എന്നിട്ടും Claude-ന് എന്റെ പേജ് വായിക്കാനാകാത്തത് എന്തുകൊണ്ട്?
robots.txt അനുവദിക്കുന്നതാണെങ്കിലും, നിങ്ങളുടെ ഫയർവാളോ CDN-ഓ Anthropic-ന്റെ ഏജന്റുകൾക്ക് 403-ഓ ചലഞ്ച് പേജോ നൽകിയേക്കാം. തങ്ങളുടെ ബോട്ടുകൾ മറികടക്കൽ-വിരുദ്ധ സാങ്കേതികവിദ്യകളെ മാനിക്കുന്നുവെന്നും CAPTCHA-കൾ മറികടക്കാൻ ശ്രമിക്കില്ലെന്നും Anthropic പറയുന്നു, അതിനാൽ ഒരു ചലഞ്ച് പേജ് സന്ദർശനം അവിടെ അവസാനിപ്പിക്കുന്നു. JavaScript പ്രവർത്തിച്ച ശേഷം മാത്രം ടെക്സ്റ്റ് പ്രത്യക്ഷപ്പെടുന്ന പേജുകളും ഏതാണ്ട് ഒഴിഞ്ഞ നിലയിൽ എത്തിയേക്കാം.
AISeeWhy ഒരു ബ്രൗസറിനൊപ്പം ClaudeBot, Claude-SearchBot, Claude-User എന്നിവയായി നിങ്ങളുടെ പേജ് അഭ്യർത്ഥിക്കുകയും ഓരോന്നിനും നിങ്ങളുടെ robots.txt നിയമങ്ങൾ പരിശോധിക്കുകയും ചെയ്യുന്നു. അങ്ങനെ നിങ്ങൾ എഴുതിയ നയം തന്നെയാണോ നിങ്ങളുടെ സെർവർ നടപ്പാക്കുന്നതെന്ന് കാണാം.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
ClaudeBot തടഞ്ഞാൽ എന്റെ സൈറ്റ് Claude-ന്റെ ഉത്തരങ്ങളിൽ നിന്ന് നീക്കം ചെയ്യപ്പെടുമോ?
അത് മാത്രം കൊണ്ട് ഇല്ല. സെർച്ച് ഇൻഡക്സിംഗും ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന ഫെച്ചുകളും സ്വന്തം robots.txt ടോക്കണുകളുള്ള Claude-SearchBot, Claude-User എന്നിവ ഉപയോഗിക്കുന്നു.
Claude-User robots.txt പാലിക്കുന്നുണ്ടോ?
തങ്ങളുടെ ബോട്ടുകൾ robots.txt പാലിക്കുന്നുവെന്ന് Anthropic പറയുന്നു, അവിടെ Claude-User തടയുന്നതിനെക്കുറിച്ചും വിവരിക്കുന്നു; അതിന്റെ ഫലമായി ഉപയോക്തൃ ചോദ്യങ്ങൾക്കായി Claude-ന് നിങ്ങളുടെ പേജുകൾ വീണ്ടെടുക്കാനാകില്ല.
Anthropic-ന്റെ ക്രോളറുകൾ CAPTCHA പരിഹരിക്കുമോ?
ഇല്ല. തങ്ങളുടെ ബോട്ടുകൾ മറികടക്കൽ-വിരുദ്ധ സാങ്കേതികവിദ്യകളെ മാനിക്കുന്നുവെന്നും CAPTCHA-കൾ മറികടക്കാൻ ശ്രമിക്കില്ലെന്നും Anthropic പറയുന്നു.
ClaudeBot-നെ തടയുന്നതിന് പകരം മന്ദഗതിയിലാക്കാനാകുമോ?
അതെ. നിലവാരമില്ലാത്ത ഒരു വിപുലീകരണമായി Anthropic Crawl-delay പിന്തുണയ്ക്കുന്നു, ഉദാഹരണത്തിന് നിങ്ങളുടെ robots.txt-ലെ ClaudeBot ഗ്രൂപ്പിൽ Crawl-delay: 1.
ഒരു അഭ്യർത്ഥന യഥാർത്ഥത്തിൽ Anthropic-ൽ നിന്നാണെന്ന് എങ്ങനെ സ്ഥിരീകരിക്കാം?
ഉറവിട IP-യെ Anthropic claude.com/crawling/bots.json-ൽ പ്രസിദ്ധീകരിക്കുന്ന പട്ടികയുമായി താരതമ്യം ചെയ്യുക. യൂസർ ഏജന്റ് മാത്രം ആർക്കും പകർത്താം.
ഉറവിടങ്ങൾ
- Anthropic: Anthropic വെബിൽ നിന്ന് ഡാറ്റ ക്രോൾ ചെയ്യുന്നുണ്ടോ, സൈറ്റ് ഉടമകൾക്ക് ക്രോളറിനെ എങ്ങനെ തടയാം?
- RFC 9309: Robots Exclusion Protocol