Claude ला माझी वेबसाइट दिसते का? कसे तपासावे
तुमची robots.txt Anthropic च्या एजंटना परवानगी देत असेल आणि तुमचा सर्व्हर त्यांना ब्राउझरला मिळते तेच HTML पाठवत असेल, तरच Claude तुमचे पेज वाचू शकते. robots.txt Claude-SearchBot किंवा Claude-User ला नाकारत नाही, तुमचा फायरवॉल त्यांना 403 किंवा चॅलेंज पेज देत नाही, आणि मुख्य मजकूर सुरुवातीच्या HTML मध्ये आहे, हे तपासा. मग स्वतः Claude ची चाचणी घ्या: वेब सर्च चालू ठेवून चॅटमध्ये तुमची URL पेस्ट करा आणि तुमचे खरेदीदार विचारतात ते प्रश्न विचारा.
तुम्ही Claude ला तुमच्या उत्पादनाबद्दल विचारता आणि ते इतर साइटचा संदर्भ देते, तेव्हा पहिला प्रश्न असतो की ते तुमच्या साइटपर्यंत मुळात पोहोचू शकते का. याचे तपासता येणारे उत्तर आहे. Anthropic त्याच्या एजंटची robots.txt टोकन आणि ते कोणत्या IP पत्त्यांवरून येतात हे प्रकाशित करते, आणि Claude त्याने वापरलेले स्रोत दाखवते. त्यामुळे तुम्ही प्रत्येक पायरी क्रमाने तपासू शकता: तुमची robots.txt काय सांगते, तुमचा सर्व्हर काय पाठवतो, तुमच्या लॉगमध्ये काय नोंदले जाते, आणि तुम्ही पेज दिल्यावर Claude त्याचे काय करते.
या पेजवर
- 5 मिनिटांची तपासणी, पायरी-पायरीने
- Claude वेबसाइट कशा वाचते?
- robots.txt मधून Claude ला माझी वेबसाइट ॲक्सेस करता येते का हे कसे तपासावे?
- Claude च्या एजंटना माझ्या सर्व्हरकडून काय मिळते याची चाचणी कशी घ्यावी?
- Claude खरोखर माझ्या साइटला भेट देते का हे कसे पाहावे?
- माझ्या पेजसह स्वतः Claude ची चाचणी कशी घ्यावी?
- Claude माझे पेज वाचू शकते पण तरीही उद्धृत करत नसेल तर?
- AISeeWhy हे कसे तपासते?
5 मिनिटांची तपासणी, पायरी-पायरीने
- तुमची robots.txt उघडा आणि
Claude-SearchBot,Claude-UserकिंवाUser-agent: *साठीचा कोणताही गट पेजला नाकारत नाही याची खात्री करा.ClaudeBotफक्त ट्रेनिंगसाठी महत्त्वाचा आहे. - AISeeWhy वर पेजची मोफत तपासणी चालवा किंवा
Claude-Userयुजर एजंटसह एक विनंती पाठवा: त्याला स्टेटस 200 आणि ब्राउझरला मिळतो तोच मजकूर मिळायला हवा. - तुमच्या ॲक्सेस लॉगमध्ये
Claude-SearchBotआणिClaude-Userशोधा आणि त्यांना मिळालेले स्टेटस कोड पाहा. - वेब सर्च चालू ठेवून तुमची URL Claude मध्ये पेस्ट करा, त्याला पेजचा सारांश द्यायला सांगा, मग तुमचे खरेदीदार विचारतात तो प्रश्न विचारा आणि संदर्भ तपासा.
पायरी 1 किंवा 2 अयशस्वी झाल्यास आधी ॲक्सेस दुरुस्त करा; खालील विभाग ते कसे करायचे ते दाखवतात. Claude पेज वाचते पण त्याचा संदर्भ देत नसेल, तर मजकुरावर काम करा.
Claude वेबसाइट कशा वाचते?
Claude दोन प्रकारे वेबपर्यंत पोहोचते. वेब सर्चसह, प्रश्नाला ताजी माहिती लागत असेल तेव्हा ते सर्च करते, अनेक स्रोत पाहते आणि संदर्भांसह उत्तर देते. Anthropic च्या मदत केंद्रानुसार वेब सर्च वापरणाऱ्या प्रत्येक उत्तरात संदर्भ असतात. कोणी Claude ला विशिष्ट लिंक दिल्यास, ते ते पेज थेट उघडू शकते.
यासाठी Anthropic तीन एजंटचे दस्तऐवज देते, प्रत्येकाचे स्वतःचे robots.txt टोकन आहे. Claude-SearchBot Claude चे सर्च निकाल सुधारण्यासाठी क्रॉल करतो, Claude-User युजरच्या प्रश्नाला गरज असेल तेव्हा पेजेस मिळवतो, आणि ClaudeBot ट्रेनिंगसाठी वापरला जाऊ शकणारा मजकूर गोळा करतो. Anthropic च्या तीन क्रॉलरवरील आमचा स्वतंत्र मार्गदर्शक प्रत्येकाचे काम तपशीलात सांगतो. वाचले जाण्यासाठी आणि उद्धृत होण्यासाठी पहिले दोन तपासायचे असतात.
एक प्रामाणिक मर्यादा: Claude चा वेब सर्च कोणता सर्च इंडेक्स वापरतो किंवा स्रोत कसे निवडतो हे Anthropic सांगत नाही. ते सांगते की Claude-SearchBot ब्लॉक केल्याने सर्च निकालांमधील तुमची दृश्यमानता कमी होऊ शकते आणि Claude-User ब्लॉक केल्याने युजरच्या प्रश्नांसाठी पेज मिळवणे थांबते. दोघांना परवानगी दिल्याने संदर्भ शक्य होतो; त्याची हमी मिळत नाही.
robots.txt मधून Claude ला माझी वेबसाइट ॲक्सेस करता येते का हे कसे तपासावे?
https://yourdomain.com/robots.txt उघडा आणि Claude-SearchBot किंवा Claude-User चे नाव असलेले गट शोधा. दोघांचेही नाव नसल्यास, दोघेही User-agent: * गटाचे पालन करतात. RFC 9309 नुसार टोकन जुळवताना लहान-मोठी अक्षरे पाहिली जात नाहीत, आणि लागू होणाऱ्या गटातील Disallow: / त्या एजंटसाठी संपूर्ण साइट बंद करते.
प्रतिसादही तपासा. सर्व्हर एरर देणारी robots.txt क्रॉलरना सगळेच नाकारलेले आहे असे गृहीत धरायला सांगते. 404 म्हणजे कोणतेही नियम नाहीत. दोन कमांड स्टेटस आणि फाइलमधील प्रत्येक गट दाखवतात:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic सांगते की नियम प्रत्येक सबडोमेनच्या सर्वोच्च स्तरावरील robots.txt मध्ये असले पाहिजेत, त्यामुळे blog.example.com ला स्वतःची फाइल लागते. असे ब्लॉक दुर्मीळ नाहीत. 1,000 सर्वाधिक लोकप्रिय डोमेनवरील आमच्या अभ्यासात, robots.txt देणाऱ्या 518 साइटपैकी 67 (12.9%) साइटनी Claude-SearchBot साठी आणि 68 (13.1%) साइटनी Claude-User साठी होम पेज नाकारले, तर ट्रेनिंग क्रॉलर ClaudeBot साठी 110 (21.2%) साइटनी तसे केले.
Claude च्या एजंटना माझ्या सर्व्हरकडून काय मिळते याची चाचणी कशी घ्यावी?
robots.txt ही विनंती आहे, ॲक्सेस नियंत्रण नाही. फायरवॉल, CDN किंवा बॉट संरक्षण Anthropic च्या एजंटना 403, 429 किंवा चॅलेंज पेज देऊ शकते, तर तुमच्या स्वतःच्या ब्राउझरमध्ये पेज नेहमीसारखे दिसते. Anthropic सांगते की त्याचे बॉट CAPTCHA टाळण्याचा प्रयत्न करणार नाहीत, त्यामुळे चॅलेंज पेज आले की भेट तिथेच संपते.
तीच URL ब्राउझरच्या युजर एजंटसह आणि प्रत्येक Anthropic टोकनसह मागवा, मग स्टेटस आणि आकाराची तुलना करा:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic चे मदत पेज टोकनची नावे देते पण पूर्ण युजर एजंट स्ट्रिंग प्रकाशित करत नाही, त्यामुळे या चाचणीसाठीच्या स्ट्रिंग आहेत, Anthropic च्या खऱ्या नाहीत. नावावर आधारित नियम विनंतीला कसे वागवतात हे त्या दाखवतात. फक्त Claude च्या ओळींसाठी 403, 429 किंवा 503, किंवा ब्राउझरपेक्षा खूपच लहान 200 असल्यास दोष तुमच्या फायरवॉलकडे जातो.
तुमची चाचणी तुमच्या स्वतःच्या IP पत्त्यावरून जाते. Anthropic सांगते की claude.com/crawling/bots.json मधील यादीतील पत्त्यांवरून येणाऱ्या विनंत्या Anthropic च्याच असतात. तुमचा फायरवॉल पडताळलेल्या क्रॉलरना IP नुसार परवानगी देत असल्यास, खरे एजंट आत येऊ शकतात आणि तुमची चाचणी ब्लॉक होऊ शकते, आणि उलटही शक्य आहे. ही यादी Anthropic ला परवानगी देण्यासाठी वापरा, ब्लॉक करण्यासाठी नाही: Anthropic IP ब्लॉकिंगविरुद्ध सल्ला देते, कारण त्यामुळे त्याच्या बॉटना तुमची robots.txt वाचतानाही अडथळा येतो.
Claude खरोखर माझ्या साइटला भेट देते का हे कसे पाहावे?
तुमचे ॲक्सेस लॉग याचे थेट उत्तर देतात. त्यात तीन टोकन शोधा, मग स्रोत पत्ते Anthropic ने प्रकाशित केलेल्या रेंजमध्ये येतात का ते तपासा, कारण युजर एजंटचे नाव कोणीही कॉपी करू शकतो:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' पहिली कमांड सामान्य combined लॉग फॉरमॅट गृहीत धरते, ज्यात फील्ड 1 हा क्लायंटचा पत्ता आणि फील्ड 9 हा स्टेटस कोड असतो. Anthropic च्या एजंटसमोर अनेक 403 किंवा 429 कोड असल्यास फायरवॉलची समस्या निश्चित होते. Claude-SearchBot कडून एकही भेट नसणे म्हणजे फक्त एवढेच की त्याने ती पेजेस अजून क्रॉल केलेली नाहीत, किंवा आधीच्या टप्प्यावर काहीतरी त्याला थांबवते.
माझ्या पेजसह स्वतः Claude ची चाचणी कशी घ्यावी?
चॅट उघडा आणि तुमच्या एखाद्या पेजची URL "हे पेज थोडक्यात सांग" अशा विनंतीसह पेस्ट करा. Anthropic च्या मदत केंद्रानुसार वेब सर्च चालू असताना Claude तुम्ही दिलेल्या लिंक उघडू शकते. वेब सर्च बंद असल्यास तो + मेन्यूमधून चालू करा; Anthropic च्या नव्या Claude अनुभवात टॉगल नाही आणि उपयोग होईल तेव्हा Claude स्वतः सर्च करते. Team आणि Enterprise प्लॅनवर आधी ओनरने संस्थेसाठी वेब सर्च चालू करावा लागतो. ब्राउझर पेज उघडू शकत असताना Claude ते उघडू शकत नसेल, तर फायरवॉल चाचणीकडे परत जा.
मग तुमचे खरेदीदार विचारतात ते प्रश्न तुमच्या साइटचे नाव न घेता विचारा, आणि उद्धृत स्रोत उघडा. Anthropic सांगते की स्थानिक निकालांसाठी Claude तुमच्या IP पत्त्यावरून अंदाजलेले स्थान वापरू शकते, त्यामुळे उत्तरे ठिकाणानुसार आणि प्रत्येक रनमध्ये बदलू शकतात.
डेव्हलपर हे Claude API मधून पुन्हा करू शकतात. वेब सर्च टूल allowed_domains यादी घेते, त्यामुळे तुमच्या डोमेनपुरती मर्यादित विनंती दाखवते की एखाद्या प्रश्नासाठी Claude चा सर्च तुमचे कोणतेही पेज परत देतो का:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' सर्च निकाल रिकामे असणे म्हणजे त्या प्रश्नासाठी Claude च्या सर्चला त्या डोमेनवर काहीच सापडले नाही. API मधील वेब सर्चसाठी Anthropic टोकनव्यतिरिक्त वेगळे शुल्क घेते. API चे web fetch टूल पेज का वाचता आले नाही हेही सांगते: url_not_allowed मध्ये robots.txt सारखे ब्लॉक येतात, आणि url_not_accessible म्हणजे HTTP एरर. API ची उत्तरे Claude ॲप दाखवते त्यापेक्षा वेगळी असू शकतात.
Claude माझे पेज वाचू शकते पण तरीही उद्धृत करत नसेल तर?
आधी खात्री करा की त्याला लागणारा मजकूर तुमचा सर्व्हर पाठवत असलेल्या HTML मध्ये आहे. Anthropic च्या API दस्तऐवजानुसार त्याचे web fetch टूल JavaScript ने रेंडर होणाऱ्या वेबसाइटना सपोर्ट करत नाही, आणि त्याचे क्रॉलर स्क्रिप्ट रेंडर करतात असे Anthropic सांगत नाही. curl ने तुमचे पेज मिळवा आणि आउटपुटमध्ये मुख्य मजकुरातील एखादे वाक्य शोधा. ते नसल्यास, सर्व्हर-साइड रेंडरिंग किंवा प्रीरेंडरिंग Claude साठी आणि इतर बहुतेक AI क्रॉलरसाठी हे दुरुस्त करते.
त्यानंतर निर्णय पेजवर अवलंबून असतो. पेजच्या मुख्य प्रश्नाचे उत्तर पहिल्या वाक्यांतच द्या, लोक विचारतात त्या प्रश्नांशी जुळणारी हेडिंग वापरा, प्रकाशकाचे नाव द्या आणि तारखा दाखवा. मग त्याच प्रश्नासाठी Claude उद्धृत करत असलेल्या पेजशी तुमच्या पेजची तुलना करा: उद्धृत पेज बहुधा त्या नेमक्या प्रश्नाचे अधिक थेट उत्तर देते.
AISeeWhy हे कसे तपासते?
AISeeWhy ची मोफत तपासणी खऱ्या ब्राउझरच्या बाजूने तुमचे पेज Claude-SearchBot, Claude-User, ClaudeBot आणि इतर AI व सर्च क्रॉलर म्हणून मिळवते, प्रत्येकासाठी तुमची robots.txt लागू करते, चॅलेंज पेज ओळखते आणि JavaScript शिवाय किती मजकूर येतो ते दाखवते. सशुल्क प्लॅनमधील AI मधील दृश्यमानता तपासणी तुमच्या स्वतःच्या API कीसह वेब सर्च चालू ठेवून Claude मधून तुमचे प्रश्न विचारते आणि तुमच्या ब्रँडचा किंवा डोमेनचा उल्लेख होतो की संदर्भ दिला जातो ते दाखवते.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
Claude ला माझी साइट दिसते का हे मी मोफत तपासू शकतो का?
हो. तुमची robots.txt, curl विनंती, तुमचा सर्व्हर लॉग आणि Claude ला प्रश्न विचारणे यांना काहीही खर्च येत नाही. AISeeWhy ची मोफत तपासणी खात्याशिवाय दिवसाला एका पेजसाठी Anthropic चे एजंट आणि इतर 13 क्रॉलर तपासते.
पेस्ट केलेली लिंक Claude का उघडू शकत नाही?
नेहमीची कारणे अशी: Anthropic च्या एजंटना 403 किंवा चॅलेंज पेज देणारा फायरवॉल किंवा बॉट संरक्षण, Claude-User ला नाकारणारा robots.txt नियम, किंवा JavaScript चालल्यानंतरच मजकूर दिसणारे पेज. curl ने ब्राउझर म्हणून आणि Claude टोकनसह URL ची चाचणी घ्या, आणि ब्लॉक झालेल्या विनंत्यांसाठी तुमचे लॉग तपासा.
चाचणीसाठी Anthropic युजर एजंट स्ट्रिंग प्रकाशित करते का?
Anthropic चे क्रॉलर मदत पेज ClaudeBot, Claude-SearchBot आणि Claude-User ही टोकन देते, पण पूर्ण युजर एजंट स्ट्रिंग देत नाही. खरे Anthropic ट्रॅफिक नक्कल करणाऱ्यांपासून वेगळे ओळखण्यासाठी, स्रोत IP ची claude.com/crawling/bots.json मधील यादीशी तुलना करा.
robots.txt मधील बदल Claude पर्यंत पोहोचायला किती वेळ लागतो?
Anthropic वेळ सांगत नाही. RFC 9309 नुसार क्रॉलरनी कॅशमधील robots.txt 24 तासांपेक्षा जास्त वापरू नये, त्यामुळे तुमच्या लॉगमध्ये किंवा Claude च्या उत्तरांमध्ये निकाल तपासण्यापूर्वी किमान एक दिवस थांबा.
Claude API आणि Claude ॲप एकसारखी उत्तरे देतात का?
आवश्यक नाही. ॲप तुमचे अंदाजे स्थान आणि स्वतःची सेटिंग वापरू शकते, तर API विनंती तुम्ही पाठवलेली टूल आणि पॅरामीटर वापरते. API चे निकाल पुन्हा करता येणारी चाचणी म्हणून वापरा, प्रत्येक युजरला दिसणाऱ्याची प्रत म्हणून नाही.
Claude माझ्या ब्रँडचा उल्लेख करते का हे कसे कळेल?
वेब सर्च चालू ठेवून Claude ला तुमचे खरेदीदार विचारतात ते प्रश्न विचारा, आणि ते तुमच्या साइटचे नाव घेते किंवा संदर्भ देते का आणि त्याऐवजी कोणते स्पर्धक दिसतात ते नोंदवा. उत्तरे बदलत असल्यामुळे प्रत्येक प्रश्न काही आठवडे पुन्हा विचारा. AISeeWhy ची AI मधील दृश्यमानता तपासणी तुमच्या कीसह Claude API मधून हे दर आठवड्याला करते, जास्तीत जास्त चार स्पर्धकांच्या बाजूला.
स्रोत
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: क्रॉलर IP पत्त्यांची यादी (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI क्रॉलर ॲक्सेस अहवाल, 2026-11