ClaudeBot

Anthropic · AI പരിശീലനം

Anthropic-ന്റെ ജനറേറ്റീവ് AI മോഡലുകളുടെ പരിശീലനത്തിന് ഉപയോഗിച്ചേക്കാവുന്ന വെബ് ഉള്ളടക്കത്തിനായുള്ള ക്രോളറാണ് ClaudeBot. robots.txt-ൽ ഇതിനെ വിലക്കുന്നത് നിങ്ങളുടെ സൈറ്റിലെ ഭാവി ഉള്ളടക്കം പരിശീലനത്തിൽ നിന്ന് ഒഴിവാക്കണമെന്ന് സൂചിപ്പിക്കുന്നു. ഇതിനെ മാത്രം തടഞ്ഞാൽ സെർച്ചിനും തത്സമയ ഉത്തരങ്ങൾക്കും സേവനം നൽകുന്ന Claude-SearchBot-ഉം Claude-User-ഉം നിൽക്കില്ല.

ഇതിനെ എങ്ങനെ അനുവദിക്കാം

User-agent: ClaudeBot
Allow: /

ഇതിനെ എങ്ങനെ തടയാം

User-agent: ClaudeBot
Disallow: /

ഇത് എന്തു ചെയ്യുന്നു

മോഡലുകളുടെ ഉപയോഗക്ഷമതയും സുരക്ഷയും മെച്ചപ്പെടുത്താൻ, അവയുടെ പരിശീലനത്തിന് സഹായകമായേക്കാവുന്ന വെബ് ഉള്ളടക്കം ClaudeBot ശേഖരിക്കുന്നുവെന്ന് Anthropic പറയുന്നു. ClaudeBot-നെ വിലക്കുന്നത് നിങ്ങളുടെ സൈറ്റിലെ ഭാവി ഉള്ളടക്കം പരിശീലന ഡാറ്റാസെറ്റുകളിൽ നിന്ന് ഒഴിവാക്കണമെന്ന് സൂചിപ്പിക്കുന്നു.

നിലവാരത്തിലില്ലാത്ത Crawl-delay നിർദ്ദേശവും Anthropic പിന്തുണയ്ക്കുന്നു, അതിനാൽ ClaudeBot-നെ തടയുന്നതിന് പകരം അതിന്റെ വേഗം കുറയ്ക്കാം. robots.txt-ൽ ClaudeBot-നെ പേരെടുത്ത് പറയുന്ന നിയമങ്ങൾക്ക് Anthropic-ന്റെ പൊതുവായ AI-പരിശീലന-വേണ്ട സിഗ്നലിനേക്കാൾ മുൻഗണനയുണ്ട്. robots.txt നിയമങ്ങൾ ഓരോ ഹോസ്റ്റിനും പ്രത്യേകമാണ്, അതിനാൽ ഉൾപ്പെടുത്തേണ്ട ഓരോ സബ്‌ഡൊമെയ്‌നിലും അവ ചേർക്കുക.

ഞങ്ങളുടെ 2026-11 പഠനത്തിൽ, robots.txt ഉള്ള ജനപ്രിയ സൈറ്റുകളിൽ 21.2% ഇതിനെ തടഞ്ഞിരുന്നു. →

robots.txt ടോക്കൺ

ClaudeBot

യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം

Anthropic അതിന്റെ ക്രോളറുകളുടെ IP വിലാസങ്ങൾ claude.com/crawling/bots.json-ൽ പ്രസിദ്ധീകരിക്കുന്നു, ആ പട്ടികയിൽ IP ഉള്ള ക്രോളർ Anthropic-ൽ നിന്നുള്ളതാണെന്ന് പറയുന്നു. യൂസർ ഏജന്റിനെ വിശ്വസിക്കുന്നതിന് പകരം ഉറവിട IP ആ പട്ടികയുമായി ഒത്തുനോക്കുക. ഒഴിവാകാൻ IP തടയൽ ഉപയോഗിക്കരുതെന്ന് Anthropic ഉപദേശിക്കുന്നു, കാരണം അത് ക്രോളറിനെ robots.txt വായിക്കുന്നതിൽ നിന്നും തടയുന്നു.

നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →

Anthropic-ന്റെ ക്രോളറുകൾ: ClaudeBot, Claude-SearchBot, Claude-User →