ClaudeBot

Anthropic · AI ట్రైనింగ్

ClaudeBot అనేది Anthropic జనరేటివ్ AI మోడల్‌ల ట్రైనింగ్‌కు ఉపయోగపడే వెబ్ కంటెంట్ కోసం దాని క్రాలర్. robots.txtలో దాన్ని నిషేధిస్తే మీ సైట్ భవిష్యత్ కంటెంట్‌ను ట్రైనింగ్ నుంచి మినహాయించాలని సూచించినట్లు. దాన్ని మాత్రమే బ్లాక్ చేస్తే సెర్చ్, లైవ్ జవాబులను అందించే Claude-SearchBot లేదా Claude-User ఆగవు.

దీన్ని ఎలా అనుమతించాలి

User-agent: ClaudeBot
Allow: /

దీన్ని ఎలా బ్లాక్ చేయాలి

User-agent: ClaudeBot
Disallow: /

ఇది ఏమి చేస్తుంది

తన మోడల్‌ల ఉపయోగాన్ని, భద్రతను మెరుగుపరచడానికి, వాటి ట్రైనింగ్‌కు ఉపయోగపడే వెబ్ కంటెంట్‌ను ClaudeBot సేకరిస్తుందని Anthropic చెబుతుంది. ClaudeBotను నిషేధిస్తే మీ సైట్ భవిష్యత్ కంటెంట్‌ను ట్రైనింగ్ డేటాసెట్‌ల నుంచి మినహాయించాలని సూచించినట్లు.

Anthropic ప్రామాణికం కాని Crawl-delay directiveను కూడా సపోర్ట్ చేస్తుంది, కాబట్టి ClaudeBotను బ్లాక్ చేయడానికి బదులు నెమ్మదింపజేయవచ్చు. robots.txtలో ClaudeBot పేరున్న నియమాలు Anthropic సాధారణ no-AI-training సంకేతం కంటే ప్రాధాన్యత పొందుతాయి. robots.txt నియమాలు ఒక్కో హోస్ట్‌కు వర్తిస్తాయి, కాబట్టి మీరు కవర్ చేయాలనుకునే ప్రతి సబ్‌డొమైన్‌కు వాటిని జోడించండి.

మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్‌లలో 21.2% దీన్ని బ్లాక్ చేశాయి. →

robots.txt టోకెన్

ClaudeBot

నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి

Anthropic తన క్రాలర్‌ల IP చిరునామాలను claude.com/crawling/bots.jsonలో ప్రచురిస్తుంది, ఆ జాబితాలో IP ఉన్న క్రాలర్ Anthropic నుంచి వచ్చినదని చెబుతుంది. యూజర్ ఏజెంట్‌ను నమ్మడానికి బదులు సోర్స్ IPని జాబితాతో సరిపోల్చండి. opt out చేయడానికి IP బ్లాకింగ్ ఉపయోగించవద్దని Anthropic సలహా ఇస్తుంది, ఎందుకంటే అది క్రాలర్ robots.txtను చదవడాన్ని కూడా ఆపుతుంది.

మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →

Anthropic క్రాలర్‌లు: ClaudeBot, Claude-SearchBot, Claude-User →