ClaudeBot
ClaudeBot એ Anthropicનો ક્રૉલર છે, જે એવું વેબ કન્ટેન્ટ ભેગું કરે છે જેનો ઉપયોગ તેના જનરેટિવ AI મૉડલને ટ્રેન કરવા માટે થઈ શકે. robots.txtમાં તેને મનાઈ કરવાથી સંકેત મળે છે કે તમારી સાઇટનું ભાવિ કન્ટેન્ટ ટ્રેનિંગમાંથી બાકાત રાખવું. ફક્ત તેને બ્લૉક કરવાથી Claude-SearchBot કે Claude-User અટકતા નથી, જે સર્ચ અને લાઇવ જવાબો આપે છે.
તેને કેવી રીતે આવવા દેવો
User-agent: ClaudeBot
Allow: / તેને કેવી રીતે બ્લૉક કરવો
User-agent: ClaudeBot
Disallow: / તે શું કરે છે
Anthropic કહે છે કે ClaudeBot એવું વેબ કન્ટેન્ટ ભેગું કરે છે જે તેના મૉડલની ટ્રેનિંગમાં ફાળો આપી શકે, જેથી તેમની ઉપયોગિતા અને સલામતી વધે. ClaudeBotને મનાઈ કરવાથી સંકેત મળે છે કે તમારી સાઇટની ભાવિ સામગ્રી ટ્રેનિંગ ડેટાસેટમાંથી બાકાત રાખવી.
Anthropic બિન-માનક Crawl-delay ડિરેક્ટિવને પણ ટેકો આપે છે, તેથી તમે ClaudeBotને બ્લૉક કરવાને બદલે ધીમો કરી શકો છો. robots.txtમાં ClaudeBotનું નામ લેતા નિયમો Anthropicના સામાન્ય no-AI-training સંકેત કરતાં વધુ અગ્રતા ધરાવે છે. robots.txtના નિયમો દરેક host માટે અલગ લાગુ પડે છે, તેથી જે દરેક સબડોમેન આવરી લેવું હોય તેમાં તે ઉમેરો.
અમારા 2026-11ના અભ્યાસમાં, robots.txt ધરાવતી લોકપ્રિય સાઇટમાંથી 21.2% સાઇટે તેને બ્લૉક કર્યો હતો. →
robots.txt ટોકન
ClaudeBot
સાચી મુલાકાતો કેવી રીતે ચકાસવી
Anthropic તેના ક્રૉલરનાં IP સરનામાં claude.com/crawling/bots.json પર પ્રકાશિત કરે છે અને કહે છે કે જે ક્રૉલરનું IP એ યાદીમાં હોય તે Anthropic તરફથી આવે છે. યુઝર એજન્ટ પર ભરોસો કરવાને બદલે સ્રોત IPને યાદી સાથે મેળવો. Anthropic opt out કરવા માટે IP બ્લૉકિંગ ન વાપરવાની સલાહ આપે છે, કારણ કે તેનાથી ક્રૉલર robots.txt પણ વાંચી શકતો નથી.
તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →
Anthropicના ક્રૉલર: ClaudeBot, Claude-SearchBot અને Claude-User →