Claude-SearchBot
Claude-SearchBot Claudeમાં સર્ચ પરિણામોની સુસંગતતા અને ચોકસાઈ સુધારવા માટે વેબ ક્રૉલ કરે છે. Anthropic કહે છે કે તેને બ્લૉક કરવાથી તમારું કન્ટેન્ટ સર્ચ માટે index થતું નથી, જેનાથી યુઝરનાં સર્ચ પરિણામોમાં તમારું દેખાવું અને ચોકસાઈ ઘટી શકે છે. જો તમે ઇચ્છો કે Claude તમારાં પેજ શોધે અને ટાંકે, તો તેને આવવા દો.
તેને કેવી રીતે આવવા દેવો
User-agent: Claude-SearchBot
Allow: / તેને કેવી રીતે બ્લૉક કરવો
User-agent: Claude-SearchBot
Disallow: / તે શું કરે છે
Anthropic વેબ પર ફરવા અને Claudeના યુઝર માટે સર્ચ પરિણામોની ગુણવત્તા સુધારવા Claude-SearchBot વાપરે છે. તે ટ્રેનિંગ ક્રૉલર ClaudeBotથી અલગ છે, તેથી તમે ટ્રેનિંગમાંથી opt out કરીને પણ સર્ચને મંજૂરી આપી શકો છો.
Anthropic કહે છે કે Claude-SearchBotને બંધ કરવાથી સર્ચ ઑપ્ટિમાઇઝેશન માટે તમારું કન્ટેન્ટ index થતું નથી, જેનાથી યુઝરનાં સર્ચ પરિણામોમાં તમારી સાઇટનું દેખાવું અને ચોકસાઈ ઘટી શકે છે. Anthropicના બૉટ robots.txtનું પાલન કરે છે અને anti-circumvention ઉપાયોનો આદર કરે છે, તેથી CAPTCHA કે ચેલેન્જ પેજ આવે તો મુલાકાત ત્યાં જ પૂરી થાય છે.
અમારા 2026-11ના અભ્યાસમાં, robots.txt ધરાવતી લોકપ્રિય સાઇટમાંથી 12.9% સાઇટે તેને બ્લૉક કર્યો હતો. →
robots.txt ટોકન
Claude-SearchBot
સાચી મુલાકાતો કેવી રીતે ચકાસવી
Anthropic તેના ક્રૉલરનાં IP સરનામાં claude.com/crawling/bots.json પર પ્રકાશિત કરે છે અને કહે છે કે જે ક્રૉલરનું IP એ યાદીમાં હોય તે Anthropic તરફથી આવે છે. યુઝર એજન્ટ પર ભરોસો કરવાને બદલે સ્રોત IPને યાદી સાથે મેળવો. Anthropic opt out કરવા માટે IP બ્લૉકિંગ ન વાપરવાની સલાહ આપે છે, કારણ કે તેનાથી ક્રૉલર robots.txt પણ વાંચી શકતો નથી.
તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →
Anthropicના ક્રૉલર: ClaudeBot, Claude-SearchBot અને Claude-User →