क्या Gemini आपकी वेबसाइट देख सकता है? ऐसे जांचें
Gemini आपके पेज को ग्राउंडेड उत्तर में तभी इस्तेमाल कर सकता है जब पेज Google के सर्च इंडेक्स में हो और आपका robots.txt Google-Extended टोकन को disallow न करे। Google कहता है कि Gemini ऐप में ग्राउंडिंग मॉडल को Google Search इंडेक्स से कंटेंट देती है, और Google-Extended तय करता है कि आपका कंटेंट इसके लिए इस्तेमाल हो सकता है या नहीं। इसलिए Search Console में इंडेक्सिंग जांचें, robots.txt में Googlebot और Google-Extended देखें, फिर Gemini से अपने ख़रीदारों के सवाल पूछें और उसके स्रोत खोलें।
दूसरे असिस्टेंट की तरह Gemini का कोई ऐसा क्रॉलर नहीं है जिसे आप अपने लॉग में देख सकें। Google अपने मौजूदा क्रॉलरों से क्रॉल करता है, और robots.txt का एक टोकन तय करता है कि Gemini उस कंटेंट के साथ क्या कर सकता है। इसलिए जांच अलग है: ज़्यादातर काम Google Search Console और आपके robots.txt में होता है, और आख़िरी कदम खुद Gemini में।
इस पेज पर
- 5 मिनट की जांच, चरण दर चरण
- Gemini वेबसाइटों से जानकारी कैसे लेता है?
- कैसे जांचें कि Google ने मेरा पेज इंडेक्स किया है या नहीं?
- क्या Google-Extended, Gemini को मेरी साइट इस्तेमाल करने से रोक रहा है?
- क्या फ़ायरवॉल Google को ब्लॉक कर सकता है जबकि ब्राउज़र को पेज मिलता रहे?
- कैसे देखें कि Gemini मेरी साइट इस्तेमाल करता है या उसका हवाला देता है?
- क्या AI Overviews, AI Mode और स्निपेट नियम Gemini पर असर डालते हैं?
- AISeeWhy इसे कैसे जांचता है?
5 मिनट की जांच, चरण दर चरण
- Google में
site:के साथ अपने पेज का पता सर्च करें, या Search Console में URL Inspection इस्तेमाल करें, ताकि पुष्टि हो कि पेज Google के इंडेक्स में है। - अपनी robots.txt खोलें और पक्का करें कि
Googlebotपेज फ़ेच कर सकता है औरGoogle-Extendeddisallow नहीं है, जब तक आपने खुद बाहर रहना न चुना हो। - AISeeWhy पर पेज की मुफ़्त जांच चलाएं या
Googlebotयूज़र एजेंट के साथ एक अनुरोध भेजें: उसे status 200 और ब्राउज़र जैसा ही टेक्स्ट मिलना चाहिए। - Gemini से ऐसा सवाल पूछें जिसका जवाब आपका पेज देता है, और जवाब के नीचे दिखाए गए स्रोत खोलें।
अगर पेज इंडेक्स में नहीं है, तो Gemini की ग्राउंडिंग उसका उपयोग नहीं कर सकती, इसलिए चरण 1 से शुरू करें। नीचे के सेक्शन हर चरण को समझाते हैं और बताते हैं कि फ़ेल होने पर क्या करें।
Gemini वेबसाइटों से जानकारी कैसे लेता है?
Google का Gemini Apps Privacy Hub कहता है कि Gemini के कुछ उत्तर सर्च नतीजों पर ग्राउंड किए जाते हैं। Google के क्रॉलर दस्तावेज़ ग्राउंडिंग को ऐसे परिभाषित करते हैं: प्रॉम्प्ट के समय मॉडल को Google Search इंडेक्स से कंटेंट देना, ताकि तथ्यात्मकता और प्रासंगिकता बेहतर हो। उसी पेज के अनुसार Google-Extended तय करता है कि Google का क्रॉल किया कंटेंट Gemini मॉडल की ट्रेनिंग के लिए, और Gemini Apps व Vertex AI पर Grounding with Google Search में ग्राउंडिंग के लिए इस्तेमाल हो सकता है या नहीं।
Google-Extended की अपनी कोई यूज़र एजेंट स्ट्रिंग नहीं है। Google कहता है कि क्रॉलिंग उसके मौजूदा यूज़र एजेंट करते हैं, और यह टोकन सिर्फ़ robots.txt में कंट्रोल के रूप में काम करता है। व्यवहार में Gemini के आपके पेज को इस्तेमाल करने की दो शर्तें बनती हैं: पेज Google के इंडेक्स में हो, और आपका robots.txt उसके लिए Google-Extended को disallow न करे।
Google यह दस्तावेज़ित नहीं करता कि Gemini इंडेक्स किए गए किन पेजों को इस्तेमाल करने या उनका हवाला देने के लिए कैसे चुनता है। दोनों शर्तें पूरी करने से आपका पेज उपलब्ध हो जाता है; इसकी गारंटी नहीं कि Gemini उसे चुनेगा।
कैसे जांचें कि Google ने मेरा पेज इंडेक्स किया है या नहीं?
Google Search Console में URL Inspection टूल इस्तेमाल करें। इंडेक्स किए गए वर्शन के लिए यह दिखाता है:
- पेज इंडेक्स है या नहीं, या कोई वजह, जैसे "URL is unknown to Google"।
- आख़िरी क्रॉल की तारीख़ और Google ने उसे डेस्कटॉप या मोबाइल विज़िटर के रूप में क्रॉल किया।
- पेज फ़ेच सफल रहा या नहीं और robots.txt ने क्रॉल की अनुमति दी या नहीं।
- आपका घोषित canonical और Google का चुना हुआ canonical। अगर ये अलग हैं, तो Google अपने चुने हुए को पेज का आधिकारिक वर्शन मानता है।
Test live URL पेज को उसी समय फ़ेच करता है, और View tested page एक स्क्रीनशॉट और Google को मिला HTML दिखाता है। अगर स्क्रीनशॉट में चैलेंज पेज है या HTML में आपका मुख्य टेक्स्ट नहीं है, तो Google, और उसके साथ Gemini, आपका कंटेंट नहीं देखता। Request indexing Google से URL को दोबारा क्रॉल करने को कहता है; Google के अनुसार इसमें आम तौर पर लगभग एक दिन लगता है, और इंडेक्सिंग की कोई गारंटी नहीं।
क्या Google-Extended, Gemini को मेरी साइट इस्तेमाल करने से रोक रहा है?
अपना robots.txt खोलें और ऐसा ग्रुप देखें जिसमें Google-Extended का नाम हो। वहां Disallow: / Google से कहता है कि आपके पेज Gemini की ट्रेनिंग या Gemini Apps में ग्राउंडिंग के लिए इस्तेमाल न करे। Google कहता है कि यह टोकन Google Search में शामिल होने पर असर नहीं डालता और रैंकिंग सिग्नल नहीं है, इसलिए यह ब्लॉक आसानी से नज़र से छूट जाता है: आपका सर्च ट्रैफ़िक सामान्य दिखता है, जबकि Gemini आपके पेजों पर उत्तर ग्राउंड नहीं कर पाता। AI Overviews और Google-Extended पर हमारा अलग लेख बताता है कि यह टोकन Search में क्या नियंत्रित करता है और क्या नहीं।
यह टोकन रिक्वेस्ट में कभी नहीं दिखता, इसलिए आप इसे curl से टेस्ट नहीं कर सकते और न लॉग में ढूंढ सकते हैं। फ़ाइल पढ़ना ही एकमात्र जांच है:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" मिलान में बड़े-छोटे अक्षरों का फ़र्क़ नहीं होता, और अगर किसी ग्रुप में Google-Extended का नाम नहीं है, तो उस पर * ग्रुप लागू होता है। AI ट्रेनिंग पर पहली बार चर्चा के समय कई साइटों ने यह ब्लॉक जोड़ा था। 1,000 सबसे लोकप्रिय डोमेन पर हमारे अध्ययन में, robots.txt वाली 518 साइटों में से 114 ने Google-Extended का नाम लिया और 94 (18.1%) ने उसके लिए अपना होम पेज disallow किया। तय करें कि क्या यह अब भी आपकी मंशा से मेल खाता है, क्योंकि यह ग्राउंडिंग को भी कवर करता है।
क्या फ़ायरवॉल Google को ब्लॉक कर सकता है जबकि ब्राउज़र को पेज मिलता रहे?
हां। अगर बॉट प्रोटेक्शन या रेट लिमिट Google के क्रॉलरों को 403, 429 या चैलेंज पेज लौटाए, तो Google पेज क्रॉल नहीं कर पाता, और समय के साथ वह Search से और उसके साथ Gemini की ग्राउंडिंग से बाहर हो सकता है। यहां URL Inspection सबसे अच्छा टेस्ट है, क्योंकि Google अपने पतों से फ़ेच करता है; आपके कंप्यूटर से curl टेस्ट सिर्फ़ यह दिखाता है कि आपके नियम यूज़र एजेंट के साथ कैसा बर्ताव करते हैं।
Google को सुरक्षित तरीके से अनुमति देने के लिए नाम पर भरोसा करने की बजाय विज़िटर का सत्यापन करें। Google रिवर्स DNS लुकअप और उसके बाद फ़ॉरवर्ड लुकअप का तरीका दस्तावेज़ित करता है, और अपने आम क्रॉलरों की IP रेंज common-crawlers.json में प्रकाशित करता है:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com उदाहरण वाले पते की जगह अपने लॉग का कोई पता डालें। अगर दोनों लुकअप मेल नहीं खाते, तो रिक्वेस्ट सिर्फ़ Google होने का दावा कर रही है।
कैसे देखें कि Gemini मेरी साइट इस्तेमाल करता है या उसका हवाला देता है?
अपनी साइट का नाम लिए बिना Gemini से वे सवाल पूछें जो आपके ख़रीदार पूछते हैं, और स्रोत खोलें। Google के हेल्प सेंटर के अनुसार Sources बटन उत्तर के नीचे या टेक्स्ट के बीच दिखता है और संबंधित लिंक का एक पैनल खोलता है, जिसमें सार्वजनिक वेबसाइटें हो सकती हैं। अगर Sources बटन नहीं है, तो Gemini ने उस उत्तर के लिए लिंक नहीं दिए, और Google बताता है कि हर उत्तर में ये नहीं होते। नोट करें कि कौन-से डोमेन दिखते हैं और वही सवाल कुछ हफ़्तों तक दोहराएं।
डेवलपर यही टेस्ट Gemini API में Grounding with Google Search के साथ चला सकते हैं। Google कहता है कि यह मॉडल को रियल-टाइम वेब कंटेंट से जोड़ता है, और ग्राउंडेड उत्तरों में हर स्रोत के URL और शीर्षक के साथ हवाले होते हैं, इसलिए आप देख सकते हैं कि आपका डोमेन आता है या नहीं। API के उत्तर Gemini ऐप में दिखने वाले उत्तरों से अलग हो सकते हैं।
Gemini से जुड़े कुछ फ़ेच आपके सर्वर तक पहुंचते हैं। Google यूज़र-ट्रिगर फ़ेचर की सूची देता है, जैसे Google-GeminiNotebook, जो वे URL रिक्वेस्ट करता है जिन्हें यूज़र Gemini Notebook प्रोजेक्ट में स्रोत के रूप में जोड़ते हैं, और Google-Agent, जिसे Google के इंफ़्रास्ट्रक्चर पर चलने वाले एजेंट यूज़र के अनुरोध पर इस्तेमाल करते हैं। Google कहता है कि ये फ़ेचर आम तौर पर robots.txt को अनदेखा करते हैं, क्योंकि फ़ेच यूज़र ने मांगा था। इनकी विज़िट दिखाती हैं कि लोग इन प्रोडक्ट के ज़रिए आपके पेज खोलते हैं; ये ऊपर बताया गया ग्राउंडिंग का रास्ता नहीं हैं।
क्या AI Overviews, AI Mode और स्निपेट नियम Gemini पर असर डालते हैं?
AI Overviews और AI Mode, Google Search की सुविधाएं हैं जिनके अपने कंट्रोल हैं। Google आपके पेजों से दिखने वाली सामग्री सीमित करने के तरीकों के रूप में nosnippet, data-nosnippet, max-snippet और noindex गिनाता है। उसके robots meta टैग दस्तावेज़ कहते हैं कि nosnippet कंटेंट को AI Overviews और AI Mode के लिए सीधे इनपुट के रूप में इस्तेमाल होने से भी रोकता है, और max-snippet सीमित करता है कि कितना इस्तेमाल हो सकता है। Search Console में साइट-स्तर की Search generative AI सेटिंग भी है, जो किसी साइट को AI Overviews, AI Mode और Discover की जेनरेटिव AI सुविधाओं से बाहर रख सकती है।
इनमें से कोई पेज Gemini ऐप का ज़िक्र नहीं करता। यह न मानें कि कोई स्निपेट नियम या Search Console सेटिंग Gemini की ग्राउंडिंग बदलती है, या कि Google-Extended AI Overviews बदलता है। noindex अपवाद है: Google की ग्राउंडिंग की परिभाषा के अनुसार, Search इंडेक्स से बाहर का पेज इसके लिए इस्तेमाल नहीं हो सकता। भूले हुए स्निपेट नियम ढूंढने के लिए HTML और हेडर जांचें:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy इसे कैसे जांचता है?
AISeeWhy की मुफ़्त जांच आपके पेज को असली ब्राउज़र के साथ-साथ Googlebot और दूसरे AI व सर्च क्रॉलरों के रूप में फ़ेच करती है, Google-Extended टोकन समेत हर एक पर आपका robots.txt लागू करती है, चैलेंज पेज पहचानती है और दिखाती है कि JavaScript के बिना कितना टेक्स्ट पहुंचता है। पेड प्लान में AI में दृश्यता जांच आपकी अपनी कुंजी से Google Search ग्राउंडिंग के साथ Gemini API में आपके सवाल पूछती है और दिखाती है कि आपके ब्रांड या डोमेन का ज़िक्र या हवाला है या नहीं। यह AI Overviews या AI Mode से सवाल नहीं पूछती।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- AI क्रॉलर IP जाँच
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
क्या मैं मुफ़्त में जांच सकता हूं कि Gemini मेरी साइट देख सकता है या नहीं?
हां। Search Console, site: सर्च, आपकी robots.txt और Gemini में एक सवाल, इनमें कुछ खर्च नहीं होता। AISeeWhy की मुफ़्त जांच दिन में एक पेज के लिए Googlebot, Google-Extended नियम और 14 दूसरे क्रॉलर टेस्ट करती है।
क्या Gemini का अपना क्रॉलर है?
ग्राउंडिंग के लिए नहीं। Google कहता है कि Google-Extended की कोई यूज़र एजेंट स्ट्रिंग नहीं है और क्रॉलिंग उसके मौजूदा क्रॉलर करते हैं। Google-GeminiNotebook और Google-Agent जैसे अलग यूज़र-ट्रिगर फ़ेचर तब पेज पर आते हैं जब कोई यूज़र कहता है, और Google के अनुसार वे आम तौर पर robots.txt को अनदेखा करते हैं।
अगर मैं Google-Extended ब्लॉक कर दूं, तो क्या Gemini फिर भी मेरे ब्रांड का ज़िक्र कर सकता है?
Google कहता है कि वह आपका कंटेंट Gemini Apps में ग्राउंडिंग के लिए इस्तेमाल नहीं करेगा। यह नियम आपके अपने पेजों पर लागू होता है। आपके बारे में लिखने वाली दूसरी साइटों के कंटेंट पर Google कुछ नहीं कहता, इसलिए Gemini उन स्रोतों से आपके ब्रांड का नाम फिर भी ले सकता है।
robots.txt में बदलाव Gemini तक पहुंचने में कितना समय लगता है?
Google, Gemini के लिए कोई समय नहीं बताता। उसके robots.txt दस्तावेज़ कहते हैं कि Google आम तौर पर फ़ाइल को 24 घंटे तक कैश करता है, इसलिए दोबारा टेस्ट करने से पहले कम से कम एक दिन रुकें, और जिन पेजों को Google कभी-कभार ही दोबारा क्रॉल करता है उनके लिए ज़्यादा।
क्या AI Overviews और Gemini एक ही स्रोत इस्तेमाल करते हैं?
Google यह दस्तावेज़ित नहीं करता कि दोनों का आपस में क्या संबंध है। दोनों Google के इंडेक्स पर आधारित हैं, लेकिन उनके कंट्रोल अलग हैं: AI Overviews और AI Mode के लिए स्निपेट नियम और Search Console सेटिंग, और Gemini ग्राउंडिंग के लिए Google-Extended। इन्हें अलग-अलग जांचें।
समय के साथ Gemini के उत्तर कैसे ट्रैक करें?
ख़रीदारों के सवालों की एक तय सूची रखें, उन्हें नियमित रूप से Gemini में पूछें और नोट करें कि स्रोतों में कौन-से डोमेन आते हैं। AISeeWhy की AI में दृश्यता जांच आपके सवाल हर हफ़्ते Google Search ग्राउंडिंग के साथ Gemini API में चलाती है और ज़्यादा से ज़्यादा चार प्रतिस्पर्धियों के साथ ज़िक्र दिखाती है। API के नतीजे Gemini ऐप से अलग हो सकते हैं।
स्रोत
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: AI क्रॉलर एक्सेस रिपोर्ट, 2026-11