के Claude ले मेरो वेबसाइट देख्न सक्छ? कसरी जाँच्ने

प्रकाशित · अद्यावधिक

छोटो उत्तर

तपाईंको robots.txt ले Anthropic का एजेन्टलाई अनुमति दिन्छ र तपाईंको सर्भरले तिनलाई ब्राउजरले पाउने उही HTML दिन्छ भने मात्र Claude ले तपाईंको पेज पढ्न सक्छ। robots.txt ले Claude-SearchBot वा Claude-User लाई निषेध गर्दैन, फायरवालले तिनलाई 403 वा च्यालेन्ज पेज दिँदैन, र मुख्य पाठ सुरुको HTML मै छ भनेर जाँच्नुहोस्। त्यसपछि Claude आफैँलाई परीक्षण गर्नुहोस्: च्याटमा आफ्नो URL टाँस्नुहोस् र वेब सर्च खोलेर ग्राहकले सोध्ने प्रश्न सोध्नुहोस्।

तपाईंले Claude लाई आफ्नो उत्पादनबारे सोध्दा यसले अरू साइट उद्धृत गर्छ भने पहिलो प्रश्न यो हो: के यो तपाईंको साइटसम्म पुग्नै सक्छ? यसको जाँच्न मिल्ने उत्तर छ। Anthropic ले आफ्ना एजेन्टका robots.txt टोकन र तिनी आउने IP ठेगाना प्रकाशित गर्छ, र Claude ले प्रयोग गरेका स्रोत देखाउँछ। त्यसैले तपाईं हरेक चरण क्रमैसँग जाँच्न सक्नुहुन्छ: तपाईंको robots.txt ले के भन्छ, तपाईंको सर्भरले के पठाउँछ, तपाईंको लगमा के रेकर्ड हुन्छ, र तपाईंले पेज दिँदा Claude ले त्यससँग के गर्छ।

यस पेजमा
  1. 5 मिनेटको जाँच, चरणबद्ध रूपमा
  2. Claude ले वेबसाइट कसरी पढ्छ?
  3. Claude ले robots.txt अनुसार मेरो वेबसाइटमा पहुँच पाउँछ कि कसरी जाँच्ने?
  4. Claude का एजेन्टले मेरो सर्भरबाट के पाउँछन् कसरी परीक्षण गर्ने?
  5. Claude वास्तवमै मेरो साइटमा आउँछ कि कसरी थाहा पाउने?
  6. मेरो पेजसँग Claude आफैँलाई कसरी परीक्षण गर्ने?
  7. Claude ले मेरो पेज पढ्छ तर उद्धृत गर्दैन भने के गर्ने?
  8. AISeeWhy ले यो कसरी जाँच्छ?

5 मिनेटको जाँच, चरणबद्ध रूपमा

  1. आफ्नो robots.txt खोल्नुहोस् र Claude-SearchBot, Claude-User वा User-agent: * को कुनै समूहले पेजलाई निषेध गर्दैन भन्ने पक्का गर्नुहोस्। ClaudeBot ट्रेनिङका लागि मात्र महत्त्वपूर्ण छ।
  2. AISeeWhy मा पेजको निःशुल्क जाँच चलाउनुहोस् वा Claude-User user agent सहित एउटा अनुरोध पठाउनुहोस्: यसले status 200 र ब्राउजरले पाउने उही पाठ पाउनुपर्छ।
  3. आफ्नो access log मा Claude-SearchBot र Claude-User खोज्नुहोस् र तिनले पाएका status code हेर्नुहोस्।
  4. वेब सर्च खोलेर Claude मा आफ्नो URL टाँस्नुहोस्, पेजको सारांश दिन भन्नुहोस्, त्यसपछि तपाईंका खरिदकर्ताले सोध्ने प्रश्न सोधेर उद्धरण जाँच्नुहोस्।

चरण 1 वा 2 असफल भए पहिले पहुँच सुधार्नुहोस्; तलका खण्डले कसरी भन्ने देखाउँछन्। Claude ले पेज पढ्छ तर उद्धृत गर्दैन भने सामग्रीमा काम गर्नुहोस्।

Claude ले वेबसाइट कसरी पढ्छ?

Claude दुई तरिकाले वेबसम्म पुग्छ। वेब सर्चसँग, प्रश्नलाई ताजा जानकारी चाहिँदा यसले खोज्छ, धेरै स्रोत हेर्छ र उद्धरणसहित उत्तर दिन्छ। Anthropic को सहायता केन्द्र भन्छ, वेब सर्च प्रयोग गर्ने हरेक जवाफमा उद्धरण हुन्छ। कसैले Claude लाई कुनै खास लिंक दिँदा यसले त्यो पेज सिधै खोल्न सक्छ।

Anthropic ले यसका लागि तीन एजेन्टको कागजात दिएको छ, र हरेकको आफ्नै robots.txt टोकन छ। Claude-SearchBot ले Claude का सर्च नतिजा सुधार्न क्रल गर्छ, Claude-User ले प्रयोगकर्ताको प्रश्नलाई चाहिँदा पेज ल्याउँछ, र ClaudeBot ले ट्रेनिङमा प्रयोग हुन सक्ने सामग्री सङ्कलन गर्छ। Anthropic का तीन क्रलरबारे हाम्रो छुट्टै गाइडले हरेकले के गर्छ विस्तारमा बताउँछ। पढिन र उद्धृत हुनका लागि पहिला दुई नै जाँच्नुपर्ने हुन्।

एउटा इमानदार सीमा: Claude को वेब सर्चले कुन सर्च इन्डेक्स प्रयोग गर्छ वा स्रोत कसरी छान्छ, Anthropic ले कागजातमा बताउँदैन। यसले भन्छ, Claude-SearchBot ब्लक गर्दा सर्च नतिजामा तपाईंको दृश्यता घट्न सक्छ र Claude-User ब्लक गर्दा प्रयोगकर्ताका प्रश्नका लागि पेज ल्याउन सकिँदैन। दुवैलाई अनुमति दिँदा उद्धरण सम्भव हुन्छ; यसले उद्धरणको ग्यारेन्टी गर्दैन।

Claude ले robots.txt अनुसार मेरो वेबसाइटमा पहुँच पाउँछ कि कसरी जाँच्ने?

https://yourdomain.com/robots.txt खोल्नुहोस् र Claude-SearchBot वा Claude-User को नाम लिने समूह खोज्नुहोस्। कुनैको नाम छैन भने दुवैले User-agent: * समूह मान्छन्। RFC 9309 अनुसार टोकन मिलाउँदा ठूलो-सानो अक्षर फरक पर्दैन, र लागू हुने समूहमा Disallow: / भए त्यो एजेन्टका लागि पूरै साइट बन्द हुन्छ।

जवाफ आफैँ पनि जाँच्नुहोस्। सर्भर त्रुटि फर्काउने robots.txt ले क्रलरलाई सबै कुरा निषेधित छ भनी मान्न भन्छ। 404 को अर्थ कुनै नियम छैन। दुई कमान्डले स्थिति र फाइलका सबै समूह देखाउँछन्:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic भन्छ नियम हरेक सबडोमेनको शीर्ष तहको robots.txt मा हुनुपर्छ, त्यसैले blog.example.com लाई आफ्नै फाइल चाहिन्छ। यस्ता ब्लक दुर्लभ छैनन्। सबैभन्दा लोकप्रिय 1,000 डोमेनको हाम्रो अध्ययनमा robots.txt दिने 518 साइटमध्ये 67 (12.9%) ले Claude-SearchBot का लागि र 68 (13.1%) ले Claude-User का लागि होम पेज निषेध गरेका थिए, भने 110 (21.2%) ले ट्रेनिङ क्रलर ClaudeBot का लागि त्यसो गरेका थिए।

Claude का एजेन्टले मेरो सर्भरबाट के पाउँछन् कसरी परीक्षण गर्ने?

robots.txt अनुरोध मात्र हो, पहुँच नियन्त्रण होइन। तपाईंको आफ्नै ब्राउजरले पेज सामान्य रूपमा देख्दा पनि फायरवाल, CDN वा बट सुरक्षाले Anthropic का एजेन्टलाई 403, 429 वा च्यालेन्ज पेज दिन सक्छ। Anthropic भन्छ यसका बटले CAPTCHA छल्ने प्रयास गर्दैनन्, त्यसैले च्यालेन्ज पेज आएपछि भ्रमण त्यहीँ सकिन्छ।

उही URL ब्राउजरको user agent र Anthropic को हरेक टोकनसहित माग्नुहोस्, अनि स्थिति र साइज तुलना गर्नुहोस्:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropic को सहायता पेजले टोकनको नाम दिन्छ तर पूरा user agent string प्रकाशित गर्दैन, त्यसैले यी परीक्षणका string हुन्, Anthropic का वास्तविक होइनन्। नाम मिलाउने नियमले अनुरोधलाई कसरी व्यवहार गर्छन् भनेर यिनले देखाउँछन्। Claude का लाइनमा मात्र 403, 429 वा 503 आयो, वा ब्राउजरको भन्दा निकै सानो 200 आयो भने समस्या तपाईंको फायरवालमा छ।

तपाईंको परीक्षण तपाईंकै IP ठेगानाबाट आउँछ। Anthropic भन्छ claude.com/crawling/bots.json को सूचीका ठेगानाबाट आउने अनुरोध Anthropic कै हुन्। तपाईंको फायरवालले प्रमाणित क्रलरलाई IP का आधारमा अनुमति दिन्छ भने वास्तविक एजेन्ट छिर्न सक्छन् र तपाईंको परीक्षण ब्लक हुन सक्छ, र उल्टो पनि हुन सक्छ। यो सूची Anthropic लाई अनुमति दिन प्रयोग गर्नुहोस्, ब्लक गर्न होइन: Anthropic IP ब्लक नगर्न सल्लाह दिन्छ, किनभने त्यसले यसका बटलाई तपाईंको robots.txt पढ्नबाट पनि रोक्छ।

Claude वास्तवमै मेरो साइटमा आउँछ कि कसरी थाहा पाउने?

तपाईंको access log ले यसको सिधा उत्तर दिन्छ। तीनवटै टोकन खोज्नुहोस्, अनि स्रोत ठेगाना Anthropic ले प्रकाशित गरेका दायराभित्र पर्छन् कि जाँच्नुहोस्, किनभने user agent को नाम जसले पनि नक्कल गर्न सक्छ:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

पहिलो कमान्डले सामान्य combined log format मान्छ, जहाँ फिल्ड 1 क्लाइन्टको ठेगाना र फिल्ड 9 स्थिति कोड हो। Anthropic का एजेन्टको छेउमा धेरै 403 वा 429 कोड छन् भने फायरवालको समस्या पक्का हुन्छ। Claude-SearchBot को कुनै भ्रमण नै छैन भने त्यसको अर्थ यसले ती पेज अझै क्रल गरेको छैन, वा अघिल्लो कुनै तहले यसलाई रोक्छ भन्ने मात्र हो।

मेरो पेजसँग Claude आफैँलाई कसरी परीक्षण गर्ने?

च्याट खोल्नुहोस् र आफ्नो कुनै पेजको URL "यो पेजको सारांश देऊ" जस्तो अनुरोधसँग टाँस्नुहोस्। Anthropic को सहायता केन्द्र भन्छ, वेब सर्च खुला हुँदा Claude ले तपाईंले दिएका लिंक खोल्न सक्छ। वेब सर्च बन्द छ भने + मेनुबाट खोल्नुहोस्; Anthropic को नयाँ Claude अनुभवमा कुनै स्विच छैन र उपयोगी हुँदा Claude आफैँ खोज्छ। Team र Enterprise प्लानमा पहिले मालिकले संस्थाका लागि वेब सर्च खोल्नुपर्छ। ब्राउजरले खोल्ने पेज Claude ले खोल्न सक्दैन भने फायरवाल परीक्षणमा फर्कनुहोस्।

त्यसपछि आफ्नो साइटको नाम नलिई ग्राहकले सोध्ने प्रश्न सोध्नुहोस्, र उद्धृत स्रोत खोल्नुहोस्। Anthropic भन्छ Claude ले स्थानीय नतिजाका लागि तपाईंको IP ठेगानाबाट अनुमान गरिएको स्थान प्रयोग गर्न सक्छ, त्यसैले उत्तर ठाउँअनुसार र हरेक पटक फरक हुन सक्छन्।

डेभलपरले यही परीक्षण Claude API बाट दोहोर्‍याउन सक्छन्। वेब सर्च टुलले allowed_domains सूची लिन्छ, त्यसैले तपाईंको डोमेनमा सीमित अनुरोधले कुनै प्रश्नका लागि Claude को सर्चले तपाईंका कुनै पेज फर्काउँछ कि देखाउँछ:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

सर्च नतिजा खाली छन् भने त्यो प्रश्नका लागि Claude को सर्चले त्यो डोमेनमा केही भेटेन। Anthropic ले API वेब सर्चका लागि टोकनबाहेक छुट्टै शुल्क लिन्छ। API को web fetch टुलले पेज किन पढ्न सकिएन भन्ने पनि बताउँछ: url_not_allowed ले robots.txt जस्ता ब्लक समेट्छ, र url_not_accessible को अर्थ HTTP त्रुटि हो। API का उत्तर Claude एपले देखाउनेभन्दा फरक हुन सक्छन्।

Claude ले मेरो पेज पढ्छ तर उद्धृत गर्दैन भने के गर्ने?

पहिले यसलाई चाहिने पाठ तपाईंको सर्भरले पठाउने HTML मै छ भनेर पक्का गर्नुहोस्। Anthropic को API कागजात भन्छ यसको web fetch टुलले JavaScript बाट रेन्डर हुने वेबसाइट समर्थन गर्दैन, र Anthropic ले आफ्ना क्रलरले स्क्रिप्ट रेन्डर गर्छन् भनेर भन्दैन। आफ्नो पेज curl ले ल्याउनुहोस् र आउटपुटमा मुख्य सामग्रीको कुनै वाक्य खोज्नुहोस्। त्यो छैन भने सर्भर-साइड रेन्डरिङ वा प्रिरेन्डरिङले Claude र अन्य धेरैजसो AI क्रलरका लागि यो समस्या समाधान गर्छ।

त्यसपछि पेजले आफैँ निर्णय गर्छ। पेजको मुख्य प्रश्नको उत्तर सुरुका वाक्यमै राख्नुहोस्, मानिसले सोध्ने प्रश्नसँग मिल्ने शीर्षक प्रयोग गर्नुहोस्, प्रकाशकको नाम दिनुहोस् र मिति देखाउनुहोस्। त्यसपछि उही प्रश्नका लागि Claude ले उद्धृत गर्ने पेजसँग आफ्नो पेज तुलना गर्नुहोस्: उद्धृत पेजले प्रायः ठ्याक्कै त्यो प्रश्नको उत्तर बढी सिधा दिन्छ।

AISeeWhy ले यो कसरी जाँच्छ?

AISeeWhy को निःशुल्क जाँचले तपाईंको पेज वास्तविक ब्राउजरको छेउमा Claude-SearchBot, Claude-User, ClaudeBot र अन्य AI तथा सर्च क्रलरका रूपमा ल्याउँछ, हरेकमा तपाईंको robots.txt लागू गर्छ, च्यालेन्ज पेज पहिचान गर्छ र JavaScript बिना कति पाठ आइपुग्छ देखाउँछ। सशुल्क प्लानमा उपलब्ध AI मा दृश्यता जाँचले तपाईंकै API की प्रयोग गरेर वेब सर्चसहित Claude मार्फत तपाईंका प्रश्न सोध्छ र तपाईंको ब्रान्ड वा डोमेनको नाम आयो वा उद्धृत भयो देखाउँछ।

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

के Claude ले मेरो साइट देख्न सक्छ कि निःशुल्क जाँच्न सकिन्छ?

सकिन्छ। तपाईंको robots.txt, curl अनुरोध, सर्भर लग र Claude मा एउटा प्रश्न सोध्न केही खर्च लाग्दैन। AISeeWhy को निःशुल्क जाँचले खाता बिना दिनको एउटा पेजका लागि Anthropic का एजेन्ट र अन्य 13 क्रलर परीक्षण गर्छ।

लिंक टाँस्दा Claude ले मेरो वेबसाइट किन खोल्न सक्दैन?

सामान्य कारण हुन्: Anthropic का एजेन्टलाई 403 वा च्यालेन्ज पेज दिने फायरवाल वा बट सुरक्षा, Claude-User लाई निषेध गर्ने robots.txt नियम, वा JavaScript चलेपछि मात्र पाठ देखिने पेज। URL लाई curl ले ब्राउजर र Claude का टोकनका रूपमा परीक्षण गर्नुहोस्, र ब्लक भएका अनुरोधका लागि लग जाँच्नुहोस्।

के Anthropic ले परीक्षणका लागि user agent string प्रकाशित गर्छ?

Anthropic को क्रलर सहायता पेजले ClaudeBot, Claude-SearchBot र Claude-User टोकन सूचीबद्ध गर्छ, तर पूरा user agent string दिँदैन। वास्तविक Anthropic ट्राफिकलाई नक्कलीबाट छुट्याउन स्रोत IP लाई claude.com/crawling/bots.json को सूचीसँग तुलना गर्नुहोस्।

robots.txt को परिवर्तन Claude सम्म पुग्न कति समय लाग्छ?

Anthropic ले समय बताउँदैन। RFC 9309 भन्छ क्रलरले cache गरिएको robots.txt 24 घण्टाभन्दा बढी प्रयोग गर्नु हुँदैन, त्यसैले लग वा Claude का उत्तरमा नतिजा मूल्याङ्कन गर्नुअघि कम्तीमा एक दिन पर्खनुहोस्।

के Claude API ले Claude एपकै उत्तर दिन्छ?

जरुरी छैन। एपले तपाईंको अनुमानित स्थान र आफ्नै सेटिङ प्रयोग गर्न सक्छ, भने API अनुरोधले तपाईंले पठाएका टुल र प्यारामिटर प्रयोग गर्छ। API नतिजालाई दोहोर्‍याउन मिल्ने परीक्षणका रूपमा लिनुहोस्, हरेक प्रयोगकर्ताले देख्ने कुराको प्रतिलिपिका रूपमा होइन।

Claude ले मेरो ब्रान्डको नाम लिन्छ कि कसरी थाहा पाउने?

वेब सर्च खोलेर Claude लाई ग्राहकले सोध्ने प्रश्न सोध्नुहोस्, र यसले तपाईंको साइटको नाम लिन्छ वा उद्धृत गर्छ कि गर्दैन र यसको सट्टा कुन प्रतिस्पर्धी देखिन्छन् लेख्नुहोस्। उत्तर फरक पर्ने भएकाले हरेक प्रश्न केही हप्तासम्म दोहोर्‍याउनुहोस्। AISeeWhy को AI मा दृश्यता जाँचले तपाईंकै की प्रयोग गरेर Claude API मार्फत हरेक हप्ता यही गर्छ, बढीमा चार प्रतिस्पर्धीको छेउमा।

स्रोतहरू

थप लेखहरू