Claude-SearchBot

Anthropic · AI సెర్చ్

Claudeలో సెర్చ్ ఫలితాల ప్రాసంగికతను, కచ్చితత్వాన్ని మెరుగుపరచడానికి Claude-SearchBot వెబ్‌ను క్రాల్ చేస్తుంది. దాన్ని బ్లాక్ చేస్తే మీ కంటెంట్ సెర్చ్ కోసం ఇండెక్స్ కాదని, అది యూజర్ సెర్చ్ ఫలితాల్లో మీ విజిబిలిటీని, కచ్చితత్వాన్ని తగ్గించవచ్చని Anthropic చెబుతుంది. Claude మీ పేజీలను కనుగొని ఉటంకించాలంటే దీన్ని అనుమతించండి.

దీన్ని ఎలా అనుమతించాలి

User-agent: Claude-SearchBot
Allow: /

దీన్ని ఎలా బ్లాక్ చేయాలి

User-agent: Claude-SearchBot
Disallow: /

ఇది ఏమి చేస్తుంది

వెబ్‌లో నావిగేట్ చేసి Claude యూజర్‌ల కోసం సెర్చ్ ఫలితాల నాణ్యతను మెరుగుపరచడానికి Anthropic Claude-SearchBotను ఉపయోగిస్తుంది. ఇది ట్రైనింగ్ క్రాలర్ ClaudeBot నుంచి వేరు, కాబట్టి ట్రైనింగ్ నుంచి opt out చేస్తూనే సెర్చ్‌ను అనుమతించవచ్చు.

Claude-SearchBotను ఆపివేస్తే సెర్చ్ ఆప్టిమైజేషన్ కోసం మీ కంటెంట్ ఇండెక్స్ కాదని, అది యూజర్ సెర్చ్ ఫలితాల్లో మీ సైట్ విజిబిలిటీని, కచ్చితత్వాన్ని తగ్గించవచ్చని Anthropic చెబుతుంది. Anthropic బాట్‌లు robots.txtను పాటిస్తాయి, anti-circumvention చర్యలను గౌరవిస్తాయి, కాబట్టి CAPTCHA లేదా ఛాలెంజ్ పేజీ సందర్శనను ముగిస్తుంది.

మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్‌లలో 12.9% దీన్ని బ్లాక్ చేశాయి. →

robots.txt టోకెన్

Claude-SearchBot

నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి

Anthropic తన క్రాలర్‌ల IP చిరునామాలను claude.com/crawling/bots.jsonలో ప్రచురిస్తుంది, ఆ జాబితాలో IP ఉన్న క్రాలర్ Anthropic నుంచి వచ్చినదని చెబుతుంది. యూజర్ ఏజెంట్‌ను నమ్మడానికి బదులు సోర్స్ IPని జాబితాతో సరిపోల్చండి. opt out చేయడానికి IP బ్లాకింగ్ ఉపయోగించవద్దని Anthropic సలహా ఇస్తుంది, ఎందుకంటే అది క్రాలర్ robots.txtను చదవడాన్ని కూడా ఆపుతుంది.

మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →

Anthropic క్రాలర్‌లు: ClaudeBot, Claude-SearchBot, Claude-User →