Anthropic క్రాలర్లు: ClaudeBot, Claude-SearchBot, Claude-User
Anthropic మూడు ఏజెంట్లను నడుపుతుంది: ClaudeBot దాని మోడల్ల ట్రైనింగ్కు ఉపయోగపడే కంటెంట్ను సేకరిస్తుంది, Claude-SearchBot Claude సెర్చ్ ఫలితాలను మెరుగుపరచడానికి క్రాల్ చేస్తుంది, Claude యూజర్ ప్రశ్నకు అవసరమైనప్పుడు Claude-User పేజీలను తెస్తుంది. ఒక్కోదానికి సొంత robots.txt టోకెన్ ఉంది, మూడూ robots.txtను గౌరవిస్తాయని Anthropic చెబుతుంది. ClaudeBotను మాత్రమే బ్లాక్ చేస్తే సెర్చ్ గానీ యూజర్ ఫెచ్లు గానీ ఆగవు.
Anthropic తన క్రాలర్లను ఒకే సహాయ పేజీలో డాక్యుమెంట్ చేస్తుంది, నిర్మాణం ఇతర AI సంస్థల్లాగే ఉంటుంది: ట్రైనింగ్ కోసం ఒక ఏజెంట్, సెర్చ్ కోసం ఒకటి, యూజర్ తరఫున లైవ్ ఫెచ్ల కోసం ఒకటి. Claude మీ పేజీలను కనుగొని కోట్ చేయగలగాలంటే, చివరి రెండూ అత్యంత ముఖ్యం.
ఈ పేజీలో
ClaudeBot ఏమి చేస్తుంది?
ClaudeBot Anthropic జనరేటివ్ AI మోడల్ల ట్రైనింగ్కు తోడ్పడగల వెబ్ కంటెంట్ను సేకరిస్తుంది. Anthropic ప్రకారం, దీన్ని నిషేధించడం మీ సైట్ భవిష్యత్ కంటెంట్ను ట్రైనింగ్ డేటాసెట్ల నుంచి మినహాయించాలని సూచిస్తుంది.
IETF డ్రాఫ్ట్ ఆధారంగా మెషిన్-రీడబుల్ no-AI-training సిగ్నల్ను గౌరవిస్తామని, robots.txtలో ClaudeBot పేరు ఉన్న నియమాలకు ఆ సాధారణ సెట్టింగ్ కంటే ప్రాధాన్యత ఉంటుందని కూడా Anthropic చెబుతుంది. ఇతర ట్రైనింగ్ క్రాలర్లలాగే, దీన్ని బ్లాక్ చేయడం విధానపరమైన ఎంపిక.
Claude-SearchBot ఏమి చేస్తుంది?
Claude-SearchBot Claudeలో సెర్చ్ ఫలితాల ప్రాసంగికతను, కచ్చితత్వాన్ని మెరుగుపరచడానికి వెబ్ను క్రాల్ చేస్తుంది. దీన్ని బ్లాక్ చేస్తే మీ కంటెంట్ సెర్చ్ కోసం ఇండెక్స్ కాదని, దాంతో యూజర్ సెర్చ్ ఫలితాల్లో మీ విజిబిలిటీ, కచ్చితత్వం తగ్గవచ్చని Anthropic చెబుతుంది.
ఎవరైనా అడగకముందే Claude సెర్చ్ ఫీచర్లకు మీ పేజీల గురించి తెలియాలంటే అనుమతించాల్సిన ఏజెంట్ ఇదే. ఇది సెర్చ్ క్రాలర్ కాబట్టి, ఏ సెర్చ్ క్రాలర్కైనా ఉపయోగపడేవే దీనికీ ఉపయోగపడతాయి: robots.txtలో పేర్కొన్న sitemap, శుభ్రమైన అంతర్గత లింక్లు, మొదటి ప్రతిస్పందనలోనే కంటెంట్ను ఇచ్చే పేజీలు.
Claude-User ఏమి చేస్తుంది?
Claude యూజర్ అడిగిన ప్రశ్నకు అవసరమైనప్పుడు, ఉదాహరణకు ఎవరైనా URLను పంచుకున్నప్పుడు లేదా ఏదైనా వెతకమని Claudeని అడిగినప్పుడు, Claude-User వెబ్సైట్ను యాక్సెస్ చేస్తుంది. దీన్ని బ్లాక్ చేస్తే యూజర్ క్వెరీలకు జవాబుగా పేజీని తెచ్చుకోలేదని, దాంతో యూజర్ నడిపించే వెబ్ సెర్చ్లో మీ విజిబిలిటీ తగ్గవచ్చని Anthropic చెబుతుంది.
కొన్ని ఇతర సంస్థల నుంచి ఒక తేడాను గమనించండి. తన బాట్లు robots.txt ఆదేశాలను గౌరవిస్తాయని Anthropic చెబుతుంది, robots.txt ద్వారా Claude-Userను బ్లాక్ చేయడాన్ని వివరిస్తుంది. దీనికి భిన్నంగా, తమ యూజర్ అభ్యర్థించే ఫెచర్లు robots.txtను పాటించకపోవచ్చని OpenAI, Perplexity చెబుతాయి.
Claude కోసం robots.txt నియమాలు ఎలా రాయాలి?
ప్రతి ఏజెంట్కు సొంత టోకెన్ ఉంది, RFC 9309 ప్రకారం ఒక క్రాలర్ పేరు ఉన్న గ్రూప్ ఆ క్రాలర్కు * గ్రూప్ను భర్తీ చేస్తుంది. సాధారణ ఎంపిక: సెర్చ్ను, యూజర్ ఫెచ్లను అనుమతించి ట్రైనింగ్ నుంచి వైదొలగడం:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / క్రాలింగ్ను బ్లాక్ చేయకుండా నెమ్మదింపజేయాలనుకుంటే, Anthropic ప్రామాణికం కాని ఎక్స్టెన్షన్గా Crawl-delayకు కూడా మద్దతిస్తుంది, ఉదాహరణకు User-agent: ClaudeBot కింద Crawl-delay: 1. నియమాలు ప్రతి హోస్ట్ టాప్-లెవల్ డైరెక్టరీలోని robots.txtలో ఉండాలి, కాబట్టి మీరు కవర్ చేయాలనుకునే ప్రతి సబ్డొమైన్కూ వాటిని జోడించండి.
Anthropic సెటప్ OpenAI, Perplexityతో ఎలా పోలుస్తుంది?
మూడు సంస్థలూ వేర్వేరు పేర్లతో ఒకే నమూనాను అనుసరిస్తాయి, అందువల్ల ఉమ్మడి robots.txt గురించి ఆలోచించడం సులభం. ప్రధాన తేడా: యూజర్ అభ్యర్థనపై లైవ్ ఫెచ్లకు ఒక్కొక్కటి robots.txtను ఎలా పరిగణిస్తుందనేది.
- సెర్చ్ క్రాలర్: Anthropic కోసం
Claude-SearchBot, OpenAI కోసంOAI-SearchBot, Perplexity కోసంPerplexityBot. - ట్రైనింగ్ క్రాలర్: Anthropic కోసం
ClaudeBot, OpenAI కోసంGPTBot.PerplexityBotAI ఫౌండేషన్ మోడల్ల కోసం కంటెంట్ క్రాల్ చేయడానికి ఉపయోగించబడదని Perplexity చెబుతుంది. - యూజర్ ఫెచ్లు:
Claude-User,ChatGPT-User,Perplexity-User. తన బాట్లు robots.txtను గౌరవిస్తాయని Anthropic;ChatGPT-Userకు robots.txt వర్తించకపోవచ్చని OpenAI;Perplexity-Userసాధారణంగా దాన్ని విస్మరిస్తుందని Perplexity చెబుతాయి.
మూడింటికీ ఒకే robots.txt రాస్తే, సెర్చ్, యూజర్ టోకెన్లను ఒక గ్రూప్లో, ట్రైనింగ్ టోకెన్లను మరో గ్రూప్లో ఉంచండి. అలా విధానం చదవడానికి సులభంగా ఉంటుంది, ప్రతి ప్రయోజనానికి మీరు ఏ ఎంపిక చేశారో స్పష్టంగా తెలుస్తుంది.
Anthropicను IP చిరునామా ద్వారా బ్లాక్ చేయాలా?
Anthropic దాన్ని సిఫార్సు చేయదు. IP చిరునామాలను బ్లాక్ చేయడం సరిగ్గా పనిచేయకపోవచ్చని, ఆప్ట్-అవుట్కు శాశ్వత హామీ ఇవ్వకపోవచ్చని దాని డాక్యుమెంటేషన్ చెబుతుంది, ఎందుకంటే అది క్రాలర్ మీ robots.txtను చదవకుండా కూడా ఆపుతుంది. మీ విధానాన్ని చెప్పడానికి robots.txtను ఉపయోగించండి.
Anthropic తన క్రాలర్ IP చిరునామాలను claude.com/crawling/bots.jsonలో ప్రచురిస్తుంది. ఆ జాబితాను ఉపయోగించే ఉపయోగకరమైన మార్గం బ్లాక్ చేయడానికి వ్యతిరేకం: Claude-SearchBot లేదా Claude-User అని చెప్పుకునే అభ్యర్థన నిజంగా Anthropic నుంచే వస్తోందని మీ ఫైర్వాల్ ధృవీకరించి, దాన్ని లోపలికి అనుమతించనివ్వండి.
అయినా Claude నా పేజీని ఎందుకు చదవలేకపోవచ్చు?
robots.txt అనుమతిస్తున్నా, మీ ఫైర్వాల్ లేదా CDN Anthropic ఏజెంట్లకు 403 లేదా ఛాలెంజ్ పేజీతో జవాబివ్వగలదు. తన బాట్లు యాంటీ-సర్కమ్వెన్షన్ టెక్నాలజీలను గౌరవిస్తాయని, CAPTCHAలను దాటవేయడానికి ప్రయత్నించవని Anthropic చెబుతుంది, కాబట్టి ఛాలెంజ్ పేజీ వస్తే సందర్శన అక్కడితో ముగుస్తుంది. JavaScript నడిచిన తర్వాతే టెక్స్ట్ కనిపించే పేజీలు కూడా దాదాపు ఖాళీగా చేరవచ్చు.
AISeeWhy మీ పేజీని బ్రౌజర్తో పాటు ClaudeBot, Claude-SearchBot, Claude-Userగా అభ్యర్థిస్తుంది, ఒక్కోదానికి మీ robots.txt నియమాలను తనిఖీ చేస్తుంది, కాబట్టి మీరు రాసిన విధానాన్నే మీ సర్వర్ అమలు చేస్తోందో లేదో మీరు చూడవచ్చు.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
ClaudeBotను బ్లాక్ చేస్తే నా సైట్ Claude జవాబుల నుంచి తొలగిపోతుందా?
దానంతట అదే కాదు. సెర్చ్ ఇండెక్సింగ్, యూజర్ అభ్యర్థించిన ఫెచ్లు Claude-SearchBot, Claude-Userను ఉపయోగిస్తాయి, వాటికి సొంత robots.txt టోకెన్లు ఉన్నాయి.
Claude-User robots.txtను పాటిస్తుందా?
తన బాట్లు robots.txtను గౌరవిస్తాయని Anthropic చెబుతుంది, అక్కడ Claude-Userను బ్లాక్ చేయడాన్ని వివరిస్తుంది; దాని ఫలితంగా యూజర్ ప్రశ్నల కోసం Claude మీ పేజీలను తెచ్చుకోలేదు.
Anthropic క్రాలర్లు CAPTCHAను పరిష్కరిస్తాయా?
లేదు. తన బాట్లు యాంటీ-సర్కమ్వెన్షన్ టెక్నాలజీలను గౌరవిస్తాయని, CAPTCHAలను దాటవేయడానికి ప్రయత్నించవని Anthropic చెబుతుంది.
ClaudeBotను బ్లాక్ చేయకుండా నెమ్మదింపజేయవచ్చా?
అవును. Anthropic ప్రామాణికం కాని ఎక్స్టెన్షన్గా Crawl-delayకు మద్దతిస్తుంది, ఉదాహరణకు మీ robots.txt లోని ClaudeBot గ్రూప్లో Crawl-delay: 1.
అభ్యర్థన నిజంగా Anthropic నుంచే వస్తోందని ఎలా ధృవీకరించాలి?
సోర్స్ IPని Anthropic claude.com/crawling/bots.jsonలో ప్రచురించే జాబితాతో పోల్చండి. యూజర్ ఏజెంట్ను మాత్రమే అయితే ఎవరైనా కాపీ చేయవచ్చు.
మూలాలు
- Anthropic: Anthropic వెబ్ నుంచి డేటాను క్రాల్ చేస్తుందా, సైట్ యజమానులు ఆ క్రాలర్ను ఎలా బ్లాక్ చేయవచ్చు?
- RFC 9309: Robots Exclusion Protocol