Anthropicના ક્રૉલર: ClaudeBot, Claude-SearchBot અને Claude-User

પ્રકાશિત

ટૂંકો જવાબ

Anthropic ત્રણ એજન્ટ ચલાવે છે: ClaudeBot એવું કન્ટેન્ટ ભેગું કરે છે જે તેનાં મૉડલની ટ્રેનિંગમાં વપરાઈ શકે, Claude-SearchBot Claudeનાં સર્ચ પરિણામો સુધારવા ક્રૉલ કરે છે, અને Claude-User Claude યુઝરના પ્રશ્નને જરૂર હોય ત્યારે પેજ મેળવે છે. દરેકનું પોતાનું robots.txt ટોકન છે, અને Anthropic કહે છે કે ત્રણેય robots.txtનું પાલન કરે છે. ફક્ત ClaudeBot બ્લૉક કરવાથી સર્ચ કે યુઝર ફેચ અટકતાં નથી.

Anthropic તેના ક્રૉલર એક જ મદદ પેજ પર દસ્તાવેજમાં જણાવે છે, અને માળખું બીજા AI પ્રોવાઇડર જેવું જ છે: એક એજન્ટ ટ્રેનિંગ માટે, એક સર્ચ માટે અને એક યુઝર વતી લાઇવ ફેચ માટે. જો તમે ઇચ્છો કે Claude તમારાં પેજ શોધી અને ટાંકી શકે, તો છેલ્લા બે સૌથી મહત્ત્વના છે.

આ પેજ પર
  1. ClaudeBot શું કરે છે?
  2. Claude-SearchBot શું કરે છે?
  3. Claude-User શું કરે છે?
  4. Claude માટે robots.txt નિયમો કેવી રીતે લખવા?
  5. Anthropicનું સેટઅપ OpenAI અને Perplexity સાથે કેવી રીતે સરખાવાય?
  6. શું મારે Anthropicને IP સરનામાથી બ્લૉક કરવું જોઈએ?
  7. Claude છતાં મારું પેજ કેમ વાંચી ન શકે?

ClaudeBot શું કરે છે?

ClaudeBot એવું વેબ કન્ટેન્ટ ભેગું કરે છે જે Anthropicનાં જનરેટિવ AI મૉડલની ટ્રેનિંગમાં ફાળો આપી શકે. Anthropic મુજબ, તેને મનાઈ કરવાથી સંકેત મળે છે કે તમારી સાઇટનું ભવિષ્યનું કન્ટેન્ટ ટ્રેનિંગ ડેટાસેટમાંથી બાકાત રાખવું જોઈએ.

Anthropic એ પણ કહે છે કે તે IETF ડ્રાફ્ટ પર આધારિત મશીન-વાંચી શકાય એવા no-AI-training સિગ્નલનું પાલન કરે છે, અને robots.txtમાં ClaudeBotનું નામ આપતા નિયમો એ સામાન્ય સેટિંગ પર અગ્રતા ધરાવે છે. બીજા ટ્રેનિંગ ક્રૉલરની જેમ, તેને બ્લૉક કરવો એ નીતિની પસંદગી છે.

Claude-SearchBot શું કરે છે?

Claude-SearchBot Claudeમાં સર્ચ પરિણામોની પ્રાસંગિકતા અને ચોકસાઈ સુધારવા વેબ ક્રૉલ કરે છે. Anthropic કહે છે કે તેને બ્લૉક કરવાથી તમારું કન્ટેન્ટ સર્ચ માટે ઇન્ડેક્સ થતું અટકે છે, જેનાથી યુઝરનાં સર્ચ પરિણામોમાં તમારી દૃશ્યતા અને ચોકસાઈ ઘટી શકે છે.

જો તમે ઇચ્છો કે કોઈ પૂછે તે પહેલાં Claudeની સર્ચ સુવિધાઓ તમારાં પેજ જાણે, તો આ એજન્ટને મંજૂરી આપો. તે સર્ચ ક્રૉલર છે, તેથી કોઈ પણ સર્ચ ક્રૉલરને જેનાથી લાભ થાય તેનાથી તેને પણ લાભ થાય છે: robots.txtમાં જણાવેલો સાઇટમેપ, સ્વચ્છ આંતરિક લિંક, અને પહેલા જવાબમાં જ કન્ટેન્ટ આપતાં પેજ.

Claude-User શું કરે છે?

Claude યુઝર એવો પ્રશ્ન પૂછે જેને વેબસાઇટની જરૂર હોય, ઉદાહરણ તરીકે જ્યારે કોઈ URL શેર કરે કે Claudeને કંઈક શોધવા કહે, ત્યારે Claude-User એ વેબસાઇટ ખોલે છે. Anthropic કહે છે કે તેને બ્લૉક કરવાથી યુઝરના પ્રશ્નોના જવાબમાં પેજ મેળવવાનું અટકે છે, જેનાથી યુઝર દ્વારા દોરાયેલા વેબ સર્ચમાં તમારી દૃશ્યતા ઘટી શકે છે.

કેટલાક બીજા પ્રોવાઇડરથી એક ફરક નોંધો. Anthropic જણાવે છે કે તેના બૉટ robots.txtના નિર્દેશોનું પાલન કરે છે, અને તે robots.txt દ્વારા Claude-Userને બ્લૉક કરવાનું વર્ણન કરે છે. એની સામે OpenAI અને Perplexity કહે છે કે યુઝરે માંગેલા તેમના ફેચર robots.txtનું પાલન ન પણ કરે.

Claude માટે robots.txt નિયમો કેવી રીતે લખવા?

દરેક એજન્ટનું પોતાનું ટોકન છે, અને RFC 9309 મુજબ ક્રૉલરનું નામ આપતું જૂથ એ ક્રૉલર માટે * જૂથની જગ્યા લે છે. સામાન્ય પસંદગી છે સર્ચ અને યુઝર ફેચને મંજૂરી આપવી અને ટ્રેનિંગમાંથી બહાર નીકળવું:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

જો તમે બ્લૉક કરવાને બદલે ક્રૉલિંગ ધીમું કરવા માંગતા હો, તો Anthropic બિન-પ્રમાણભૂત એક્સટેન્શન તરીકે Crawl-delayને પણ સપોર્ટ કરે છે, ઉદાહરણ તરીકે User-agent: ClaudeBot હેઠળ Crawl-delay: 1. નિયમો દરેક હોસ્ટની ટોચની ડિરેક્ટરીમાંની robots.txtમાં હોવા જોઈએ, તેથી જે દરેક સબડોમેનને આવરી લેવું હોય તેમાં તેમને ઉમેરો.

Anthropicનું સેટઅપ OpenAI અને Perplexity સાથે કેવી રીતે સરખાવાય?

ત્રણેય પ્રોવાઇડર અલગ નામો સાથે એ જ પૅટર્ન અનુસરે છે, જેનાથી સંયુક્ત robots.txt સમજવી સરળ બને છે. મુખ્ય ફરક એ છે કે યુઝરની વિનંતી પરના લાઇવ ફેચ માટે દરેક robots.txtને કેવી રીતે ગણે છે.

જો તમે ત્રણેય માટે એક robots.txt લખો, તો સર્ચ અને યુઝર ટોકન એક જૂથમાં અને ટ્રેનિંગ ટોકન બીજા જૂથમાં મૂકો. તેનાથી નીતિ વાંચવામાં સરળ રહે છે અને દરેક હેતુ માટે તમે શી પસંદગી કરી તે સ્પષ્ટ થાય છે.

શું મારે Anthropicને IP સરનામાથી બ્લૉક કરવું જોઈએ?

Anthropic તેની વિરુદ્ધ સલાહ આપે છે. તેના દસ્તાવેજ કહે છે કે IP સરનામાં બ્લૉક કરવાથી opt-out બરાબર કે કાયમી રીતે કામ ન પણ કરે, કારણ કે તે ક્રૉલરને તમારી robots.txt વાંચતા પણ રોકે છે. તમારી નીતિ જણાવવા robots.txt વાપરો.

Anthropic તેના ક્રૉલરનાં IP સરનામાં claude.com/crawling/bots.json પર પ્રકાશિત કરે છે. એ યાદીનો ઉપયોગી ઉપયોગ બ્લૉક કરવાથી ઊલટો છે: તમારા ફાયરવૉલને ચકાસવા દો કે Claude-SearchBot કે Claude-User હોવાનો દાવો કરતી વિનંતી ખરેખર Anthropic તરફથી આવે છે, અને તેને પસાર થવા દો.

Claude છતાં મારું પેજ કેમ વાંચી ન શકે?

robots.txt છૂટ આપતી હોય તો પણ, તમારું ફાયરવૉલ કે CDN Anthropicના એજન્ટને 403 કે ચેલેન્જ પેજ આપી શકે છે. Anthropic કહે છે કે તેના બૉટ anti-circumvention ટેક્નોલૉજીનું માન રાખે છે અને CAPTCHA બાયપાસ કરવાનો પ્રયાસ નહીં કરે, તેથી ચેલેન્જ પેજ મુલાકાતને ત્યાં જ પૂરી કરી દે છે. જેનું લખાણ ફક્ત JavaScript ચાલ્યા પછી દેખાય એવાં પેજ પણ લગભગ ખાલી પહોંચી શકે છે.

AISeeWhy તમારું પેજ બ્રાઉઝરની સાથે ClaudeBot, Claude-SearchBot અને Claude-User તરીકે મંગાવે છે અને દરેક માટે તમારા robots.txt નિયમો તપાસે છે, જેથી તમે જોઈ શકો કે તમે લખેલી નીતિ જ તમારું સર્વર લાગુ કરે છે કે નહીં.

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

શું ClaudeBot બ્લૉક કરવાથી મારી સાઇટ Claudeના જવાબોમાંથી દૂર થાય છે?

એકલું નહીં. સર્ચ ઇન્ડેક્સિંગ અને યુઝરે માંગેલા ફેચ Claude-SearchBot અને Claude-User વાપરે છે, જેમનાં પોતાનાં robots.txt ટોકન છે.

શું Claude-User robots.txtનું પાલન કરે છે?

Anthropic કહે છે કે તેના બૉટ robots.txtનું પાલન કરે છે અને ત્યાં Claude-Userને બ્લૉક કરવાનું વર્ણન કરે છે, જેની અસર એ છે કે Claude યુઝરના પ્રશ્નો માટે તમારાં પેજ મેળવી શકતું નથી.

શું Anthropicના ક્રૉલર CAPTCHA ઉકેલશે?

ના. Anthropic કહે છે કે તેના બૉટ anti-circumvention ટેક્નોલૉજીનું માન રાખે છે અને CAPTCHA બાયપાસ કરવાનો પ્રયાસ નહીં કરે.

શું હું ClaudeBotને બ્લૉક કરવાને બદલે ધીમો કરી શકું?

હા. Anthropic બિન-પ્રમાણભૂત એક્સટેન્શન તરીકે Crawl-delayને સપોર્ટ કરે છે, ઉદાહરણ તરીકે તમારી robots.txtના ClaudeBot જૂથમાં Crawl-delay: 1.

વિનંતી ખરેખર Anthropic તરફથી આવે છે તે કેવી રીતે ચકાસવું?

સ્રોત IPને Anthropic claude.com/crawling/bots.json પર પ્રકાશિત કરે છે તે યાદી સાથે સરખાવો. એકલા યુઝર એજન્ટની નકલ કોઈ પણ કરી શકે છે.

સ્રોતો

વધુ લેખો