Claude-User
ഒരു Claude ഉപയോക്താവ് ചോദിക്കുന്ന ചോദ്യത്തിന് ആവശ്യമുള്ളപ്പോൾ, ഉദാഹരണത്തിന് പങ്കിട്ട ഒരു ലിങ്ക് വായിക്കാൻ, Claude-User ഒരു വെബ്സൈറ്റ് സന്ദർശിക്കുന്നു. തങ്ങളുടെ ബോട്ടുകൾ robots.txt പാലിക്കുന്നുവെന്നും, Claude-User-നെ തടയുന്നത് ഉപയോക്തൃ ചോദ്യങ്ങൾക്ക് മറുപടിയായി നിങ്ങളുടെ ഉള്ളടക്കം എടുക്കുന്നത് തടയുമെന്നും, അത് ഉപയോക്താവ് നയിക്കുന്ന വെബ് സെർച്ചിൽ നിങ്ങളുടെ ദൃശ്യത കുറച്ചേക്കാമെന്നും Anthropic പറയുന്നു.
ഇതിനെ എങ്ങനെ അനുവദിക്കാം
User-agent: Claude-User
Allow: / ഇതിനെ എങ്ങനെ തടയാം
User-agent: Claude-User
Disallow: / ഇത് എന്തു ചെയ്യുന്നു
Claude ഉപയോക്താക്കളെ സഹായിക്കാൻ Anthropic Claude-User ഉപയോഗിക്കുന്നു: ആരെങ്കിലും Claude-നോട് ഒരു ചോദ്യം ചോദിക്കുമ്പോൾ, ഉത്തരം നൽകാൻ അത് ഒരു വെബ്സൈറ്റ് ആക്സസ് ചെയ്തേക്കാം. ഇവ ഒരു ഉപയോക്താവിന് വേണ്ടിയുള്ള ഓരോ ഫെച്ചുകളാണ്, പൊതുവായ ക്രോളല്ല.
ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന ഫെച്ചറുകൾ robots.txt പാലിച്ചേക്കില്ലെന്ന് പറയുന്ന OpenAI-യിൽ നിന്നും Perplexity-യിൽ നിന്നും വ്യത്യസ്തമായി, തങ്ങളുടെ ബോട്ടുകൾ robots.txt നിർദ്ദേശങ്ങൾ പാലിക്കുന്നുവെന്ന് Anthropic വ്യക്തമാക്കുകയും അവിടെ Claude-User-നെ തടയുന്ന വിധം വിവരിക്കുകയും ചെയ്യുന്നു. അങ്ങനെ ചെയ്താൽ ഉപയോക്താക്കൾ നിങ്ങളുടെ പേജുകളെക്കുറിച്ച് ചോദിക്കുമ്പോൾ Claude-ന് അവ എടുക്കാനാവില്ല.
ഞങ്ങളുടെ 2026-11 പഠനത്തിൽ, robots.txt ഉള്ള ജനപ്രിയ സൈറ്റുകളിൽ 13.1% ഇതിനെ തടഞ്ഞിരുന്നു. →
robots.txt ടോക്കൺ
Claude-User
യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം
Anthropic അതിന്റെ ക്രോളറുകളുടെ IP വിലാസങ്ങൾ claude.com/crawling/bots.json-ൽ പ്രസിദ്ധീകരിക്കുന്നു, ആ പട്ടികയിൽ IP ഉള്ള ക്രോളർ Anthropic-ൽ നിന്നുള്ളതാണെന്ന് പറയുന്നു. യൂസർ ഏജന്റിനെ വിശ്വസിക്കുന്നതിന് പകരം ഉറവിട IP ആ പട്ടികയുമായി ഒത്തുനോക്കുക. ഒഴിവാകാൻ IP തടയൽ ഉപയോഗിക്കരുതെന്ന് Anthropic ഉപദേശിക്കുന്നു, കാരണം അത് ക്രോളറിനെ robots.txt വായിക്കുന്നതിൽ നിന്നും തടയുന്നു.
നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →
Anthropic-ന്റെ ക്രോളറുകൾ: ClaudeBot, Claude-SearchBot, Claude-User →