क्या Claude आपकी वेबसाइट देख सकता है? ऐसे जांचें
Claude आपका पेज तभी पढ़ सकता है जब आपका robots.txt Anthropic के एजेंटों को अनुमति दे और आपका सर्वर उन्हें वही HTML भेजे जो ब्राउज़र को मिलता है। जांचें कि robots.txt Claude-SearchBot या Claude-User को disallow नहीं करता, आपका फ़ायरवॉल उन्हें 403 या चैलेंज पेज नहीं लौटाता, और मुख्य टेक्स्ट शुरुआती HTML में मौजूद है। फिर खुद Claude में टेस्ट करें: चैट में अपना URL पेस्ट करें और वेब सर्च चालू करके वे सवाल पूछें जो आपके ख़रीदार पूछते हैं।
अगर आप Claude से अपने प्रोडक्ट के बारे में पूछते हैं और वह दूसरी साइटों का हवाला देता है, तो पहला सवाल यह है कि क्या वह आपकी साइट तक पहुंच भी पाता है। इसका जवाब जांचा जा सकता है। Anthropic अपने एजेंटों के robots.txt टोकन और वे IP पते प्रकाशित करती है जिनसे वे आते हैं, और Claude बताता है कि उसने किन स्रोतों का इस्तेमाल किया। इसलिए आप हर कदम क्रम से जांच सकते हैं: आपका robots.txt क्या कहता है, आपका सर्वर क्या भेजता है, आपके लॉग में क्या दर्ज होता है, और जब आप Claude को कोई पेज देते हैं तो वह उसके साथ क्या करता है।
इस पेज पर
- 5 मिनट की जांच, चरण दर चरण
- Claude वेबसाइटें कैसे पढ़ता है?
- robots.txt से कैसे जांचें कि Claude मेरी वेबसाइट तक पहुंच सकता है?
- कैसे टेस्ट करें कि Claude के एजेंटों को मेरे सर्वर से क्या मिलता है?
- कैसे देखें कि Claude सच में मेरी साइट पर आता है या नहीं?
- अपने पेज के साथ खुद Claude को कैसे टेस्ट करें?
- अगर Claude मेरा पेज पढ़ सकता है फिर भी हवाला नहीं देता तो क्या करें?
- AISeeWhy इसे कैसे जांचता है?
5 मिनट की जांच, चरण दर चरण
- अपनी robots.txt खोलें और पक्का करें कि
Claude-SearchBot,Claude-UserयाUser-agent: *का कोई ग्रुप उस पेज को disallow नहीं करता।ClaudeBotसिर्फ़ ट्रेनिंग के लिए मायने रखता है। - AISeeWhy पर पेज की मुफ़्त जांच चलाएं या
Claude-Userयूज़र एजेंट के साथ एक अनुरोध भेजें: उसे status 200 और वही टेक्स्ट मिलना चाहिए जो ब्राउज़र को मिलता है। - अपने एक्सेस लॉग में
Claude-SearchBotऔरClaude-Userखोजें और देखें कि उन्हें कौन-से स्टेटस कोड मिले। - वेब सर्च चालू करके अपना URL Claude में पेस्ट करें, उससे पेज का सारांश मांगें, फिर आपके खरीदारों का कोई सवाल पूछें और हवाले जांचें।
अगर चरण 1 या 2 फ़ेल हो, तो पहले एक्सेस ठीक करें; नीचे के सेक्शन बताते हैं कैसे। अगर Claude पेज पढ़ता है लेकिन उसका हवाला नहीं देता, तो कंटेंट पर काम करें।
Claude वेबसाइटें कैसे पढ़ता है?
Claude दो तरीकों से वेब तक पहुंचता है। वेब सर्च के साथ, जब किसी सवाल के लिए ताज़ा जानकारी चाहिए, तो वह सर्च करता है, कई स्रोत देखता है और हवालों के साथ उत्तर देता है। Anthropic के हेल्प सेंटर के अनुसार वेब सर्च इस्तेमाल करने वाले हर उत्तर में हवाले होते हैं। जब कोई Claude को कोई खास लिंक देता है, तो वह उस पेज को सीधे खोल सकता है।
Anthropic इसके लिए तीन एजेंट दस्तावेज़ित करती है, हर एक का अपना robots.txt टोकन है। Claude-SearchBot Claude के सर्च नतीजे बेहतर करने के लिए क्रॉल करता है, Claude-User तब पेज फ़ेच करता है जब किसी यूज़र के सवाल के लिए उनकी ज़रूरत हो, और ClaudeBot ऐसा कंटेंट इकट्ठा करता है जो ट्रेनिंग में इस्तेमाल हो सकता है। Anthropic के तीन क्रॉलरों पर हमारी अलग गाइड बताती है कि हर एक क्या करता है। पढ़े जाने और हवाला पाने के लिए पहले दो को जांचना ज़रूरी है।
एक सीमा साफ़ बता दें: Anthropic यह दस्तावेज़ित नहीं करती कि Claude की वेब सर्च कौन-सा सर्च इंडेक्स इस्तेमाल करती है या स्रोत कैसे चुनती है। वह कहती है कि Claude-SearchBot को ब्लॉक करने से सर्च नतीजों में आपकी दृश्यता घट सकती है और Claude-User को ब्लॉक करने से यूज़र के सवालों के लिए पेज नहीं लाए जा सकते। दोनों को अनुमति देने से हवाला संभव होता है; इसकी गारंटी नहीं मिलती।
robots.txt से कैसे जांचें कि Claude मेरी वेबसाइट तक पहुंच सकता है?
https://yourdomain.com/robots.txt खोलें और ऐसे ग्रुप देखें जिनमें Claude-SearchBot या Claude-User का नाम हो। अगर किसी का नाम नहीं है, तो दोनों User-agent: * ग्रुप का पालन करते हैं। RFC 9309 के तहत टोकन मिलाते समय बड़े-छोटे अक्षरों का फ़र्क़ नहीं होता, और जो भी ग्रुप लागू हो, उसमें Disallow: / उस एजेंट के लिए पूरी साइट बंद कर देता है।
जवाब भी जांचें। सर्वर एरर लौटाने वाला robots.txt क्रॉलरों से कहता है कि सब कुछ disallow मान लें। 404 का मतलब है कोई नियम नहीं। दो कमांड स्टेटस और फ़ाइल का हर ग्रुप दिखाती हैं:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic के अनुसार नियम हर सबडोमेन के टॉप लेवल पर मौजूद robots.txt में होने चाहिए, इसलिए blog.example.com को अपनी अलग फ़ाइल चाहिए। ऐसे ब्लॉक दुर्लभ नहीं हैं। 1,000 सबसे लोकप्रिय डोमेन पर हमारे अध्ययन में, robots.txt देने वाली 518 साइटों में से 67 (12.9%) ने Claude-SearchBot के लिए और 68 (13.1%) ने Claude-User के लिए होम पेज disallow किया था, जबकि ट्रेनिंग क्रॉलर ClaudeBot के लिए 110 (21.2%) ने ऐसा किया।
कैसे टेस्ट करें कि Claude के एजेंटों को मेरे सर्वर से क्या मिलता है?
robots.txt एक अनुरोध है, एक्सेस कंट्रोल नहीं। फ़ायरवॉल, CDN या बॉट प्रोटेक्शन Anthropic के एजेंटों को 403, 429 या चैलेंज पेज लौटा सकता है, जबकि आपके अपने ब्राउज़र में पेज सामान्य दिखता है। Anthropic कहती है कि उसके बॉट CAPTCHA को बायपास करने की कोशिश नहीं करते, इसलिए चैलेंज पेज पर विज़िट वहीं ख़त्म हो जाती है।
एक ही URL को ब्राउज़र यूज़र एजेंट से और हर Anthropic टोकन से रिक्वेस्ट करें, फिर स्टेटस और साइज़ की तुलना करें:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic का हेल्प पेज टोकन बताता है लेकिन पूरी यूज़र एजेंट स्ट्रिंग प्रकाशित नहीं करता, इसलिए ये टेस्ट स्ट्रिंग हैं, Anthropic की असली स्ट्रिंग नहीं। इनसे पता चलता है कि नाम से मेल खाने वाले नियम रिक्वेस्ट के साथ कैसा बर्ताव करते हैं। सिर्फ़ Claude वाली लाइनों के लिए 403, 429 या 503, या ब्राउज़र से बहुत छोटा 200 जवाब, आपके फ़ायरवॉल की ओर इशारा करता है।
आपका टेस्ट आपके अपने IP पते से आता है। Anthropic कहती है कि claude.com/crawling/bots.json की सूची वाले पतों से आने वाली रिक्वेस्ट Anthropic की हैं। अगर आपका फ़ायरवॉल सत्यापित क्रॉलरों को IP के आधार पर अनुमति देता है, तो हो सकता है असली एजेंट निकल जाएं और आपका टेस्ट ब्लॉक हो, और उल्टा भी हो सकता है। इस सूची का इस्तेमाल Anthropic को अनुमति देने के लिए करें, ब्लॉक करने के लिए नहीं: Anthropic IP ब्लॉकिंग की सलाह नहीं देती, क्योंकि इससे उसके बॉट आपका robots.txt भी नहीं पढ़ पाते।
कैसे देखें कि Claude सच में मेरी साइट पर आता है या नहीं?
इसका सीधा जवाब आपके एक्सेस लॉग देते हैं। उनमें तीनों टोकन खोजें, फिर जांचें कि स्रोत पते Anthropic की प्रकाशित रेंज में आते हैं, क्योंकि यूज़र एजेंट का नाम कोई भी कॉपी कर सकता है:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' पहली कमांड आम combined लॉग फ़ॉर्मैट मानकर चलती है, जिसमें फ़ील्ड 1 क्लाइंट का पता और फ़ील्ड 9 स्टेटस कोड है। Anthropic के एजेंटों के साथ बहुत सारे 403 या 429 कोड फ़ायरवॉल की समस्या की पुष्टि करते हैं। Claude-SearchBot की एक भी विज़िट न होने का मतलब बस इतना है कि उसने अभी तक वे पेज क्रॉल नहीं किए, या कोई चीज़ उसे पहले ही रोक देती है।
अपने पेज के साथ खुद Claude को कैसे टेस्ट करें?
एक चैट खोलें और अपने किसी पेज का URL "इस पेज का सारांश दो" जैसे अनुरोध के साथ पेस्ट करें। Anthropic के हेल्प सेंटर के अनुसार वेब सर्च चालू होने पर Claude आपके दिए लिंक खोल सकता है। अगर वेब सर्च बंद है, तो उसे + मेनू से चालू करें; Anthropic के नए Claude अनुभव में कोई टॉगल नहीं है और Claude ज़रूरत पड़ने पर खुद सर्च करता है। Team और Enterprise प्लान पर किसी owner को पहले संगठन के लिए वेब सर्च चालू करनी होती है। अगर ब्राउज़र पेज खोल लेता है पर Claude नहीं, तो फ़ायरवॉल टेस्ट पर वापस जाएं।
फिर अपनी साइट का नाम लिए बिना वे सवाल पूछें जो आपके ख़रीदार पूछते हैं, और हवाला दिए गए स्रोत खोलें। Anthropic कहती है कि Claude स्थानीय नतीजों के लिए आपके IP पते से अनुमानित लोकेशन इस्तेमाल कर सकता है, इसलिए उत्तर जगह के हिसाब से और हर बार अलग हो सकते हैं।
डेवलपर यही टेस्ट Claude API से दोहरा सकते हैं। वेब सर्च टूल allowed_domains सूची लेता है, इसलिए आपके डोमेन तक सीमित रिक्वेस्ट दिखाती है कि Claude की सर्च किसी सवाल पर आपका कोई पेज लौटाती है या नहीं:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' खाली सर्च नतीजों का मतलब है कि Claude की सर्च को उस सवाल पर उस डोमेन में कुछ नहीं मिला। Anthropic API वेब सर्च के लिए टोकन के अलावा अलग शुल्क लेती है। API का वेब फ़ेच टूल यह भी बताता है कि पेज क्यों नहीं पढ़ा जा सका: url_not_allowed robots.txt जैसे ब्लॉक के लिए है, और url_not_accessible का मतलब HTTP एरर है। API के उत्तर Claude ऐप में दिखने वाले उत्तरों से अलग हो सकते हैं।
अगर Claude मेरा पेज पढ़ सकता है फिर भी हवाला नहीं देता तो क्या करें?
पहले पक्का करें कि ज़रूरी टेक्स्ट उस HTML में है जो आपका सर्वर भेजता है। Anthropic के API दस्तावेज़ कहते हैं कि उसका वेब फ़ेच टूल JavaScript से रेंडर होने वाली वेबसाइटें सपोर्ट नहीं करता, और Anthropic यह नहीं कहती कि उसके क्रॉलर स्क्रिप्ट रेंडर करते हैं। अपना पेज curl से फ़ेच करें और आउटपुट में मुख्य कंटेंट का कोई वाक्य खोजें। अगर वह नहीं है, तो सर्वर-साइड रेंडरिंग या प्रीरेंडरिंग इसे Claude और ज़्यादातर दूसरे AI क्रॉलरों के लिए ठीक कर देती है।
उसके बाद फ़ैसला पेज खुद करता है। पेज के मुख्य सवाल का उत्तर पहले वाक्यों में दें, ऐसे हेडिंग रखें जो लोगों के सवालों से मेल खाएं, प्रकाशक का नाम दें और तारीख़ें दिखाएं। फिर अपने पेज की तुलना उस पेज से करें जिसका Claude उसी सवाल पर हवाला देता है: अक्सर हवाला पाने वाला पेज ठीक उसी सवाल का ज़्यादा सीधा जवाब देता है।
AISeeWhy इसे कैसे जांचता है?
AISeeWhy की मुफ़्त जांच आपके पेज को असली ब्राउज़र के साथ-साथ Claude-SearchBot, Claude-User, ClaudeBot और दूसरे AI व सर्च क्रॉलरों के रूप में फ़ेच करती है, हर एक पर आपका robots.txt लागू करती है, चैलेंज पेज पहचानती है और दिखाती है कि JavaScript के बिना कितना टेक्स्ट पहुंचता है। पेड प्लान में AI में दृश्यता जांच आपकी अपनी API कुंजी से वेब सर्च के साथ Claude में आपके सवाल पूछती है और दिखाती है कि आपके ब्रांड या डोमेन का ज़िक्र या हवाला है या नहीं।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- AI क्रॉलर IP जाँच
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
क्या मैं मुफ़्त में जांच सकता हूं कि Claude मेरी साइट देख सकता है या नहीं?
हां। आपकी robots.txt, एक curl अनुरोध, आपका सर्वर लॉग और Claude में एक सवाल, इनमें कुछ खर्च नहीं होता। AISeeWhy की मुफ़्त जांच बिना अकाउंट के दिन में एक पेज के लिए Anthropic के एजेंट और 13 दूसरे क्रॉलर टेस्ट करती है।
लिंक पेस्ट करने पर Claude मेरी वेबसाइट क्यों नहीं खोल पाता?
आम वजहें हैं: कोई फ़ायरवॉल या बॉट प्रोटेक्शन जो Anthropic के एजेंटों को 403 या चैलेंज पेज लौटाता है, robots.txt का कोई नियम जो Claude-User को disallow करता है, या ऐसा पेज जिसका टेक्स्ट JavaScript चलने के बाद ही दिखता है। URL को curl से ब्राउज़र के रूप में और Claude टोकन के साथ टेस्ट करें, और लॉग में ब्लॉक हुई रिक्वेस्ट देखें।
क्या Anthropic टेस्ट के लिए कोई यूज़र एजेंट स्ट्रिंग प्रकाशित करती है?
Anthropic का क्रॉलर हेल्प पेज ClaudeBot, Claude-SearchBot और Claude-User टोकन बताता है, लेकिन पूरी यूज़र एजेंट स्ट्रिंग नहीं। असली Anthropic ट्रैफ़िक को नकल करने वालों से अलग करने के लिए स्रोत IP की तुलना claude.com/crawling/bots.json की सूची से करें।
robots.txt में बदलाव Claude तक पहुंचने में कितना समय लगता है?
Anthropic कोई समय नहीं बताती। RFC 9309 कहता है कि क्रॉलरों को कैश किया हुआ robots.txt 24 घंटे से ज़्यादा इस्तेमाल नहीं करना चाहिए, इसलिए लॉग या Claude के उत्तरों में नतीजा परखने से पहले कम से कम एक दिन रुकें।
क्या Claude API वही उत्तर देती है जो Claude ऐप देता है?
ज़रूरी नहीं। ऐप आपकी अनुमानित लोकेशन और अपनी सेटिंग इस्तेमाल कर सकता है, जबकि API रिक्वेस्ट वही टूल और पैरामीटर इस्तेमाल करती है जो आप भेजते हैं। API के नतीजों को दोहराए जा सकने वाले टेस्ट की तरह देखें, हर यूज़र को दिखने वाले उत्तर की कॉपी की तरह नहीं।
कैसे पता करें कि Claude मेरे ब्रांड का ज़िक्र करता है या नहीं?
वेब सर्च चालू करके Claude से वे सवाल पूछें जो आपके ख़रीदार पूछते हैं, और नोट करें कि वह आपकी साइट का नाम या हवाला देता है या नहीं और उसकी जगह कौन-से प्रतिस्पर्धी आते हैं। हर सवाल कई हफ़्तों तक दोहराएं, क्योंकि उत्तर बदलते रहते हैं। AISeeWhy की AI में दृश्यता जांच यह हर हफ़्ते आपकी कुंजी से Claude API के ज़रिए करती है, ज़्यादा से ज़्यादा चार प्रतिस्पर्धियों के साथ।
स्रोत
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: क्रॉलर के IP पतों की सूची (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI क्रॉलर एक्सेस रिपोर्ट, 2026-11