के Gemini ले मेरो वेबसाइट देख्न सक्छ? कसरी जाँच्ने
तपाईंको पेज Google को Search इन्डेक्समा छ र तपाईंको robots.txt ले Google-Extended टोकनलाई निषेध गर्दैन भने मात्र Gemini ले त्यसलाई grounded उत्तरमा प्रयोग गर्न सक्छ। Google भन्छ Gemini एपमा grounding ले मोडेललाई Google Search इन्डेक्सको सामग्री दिन्छ, र Google-Extended ले तपाईंको सामग्री त्यसका लागि प्रयोग गर्न मिल्छ कि मिल्दैन नियन्त्रण गर्छ। त्यसैले Search Console मा इन्डेक्सिङ जाँच्नुहोस्, robots.txt मा Googlebot र Google-Extended जाँच्नुहोस्, अनि Gemini लाई ग्राहकले सोध्ने प्रश्न सोधेर यसका स्रोत खोल्नुहोस्।
अन्य असिस्टेन्टको जस्तो Gemini को लगमा हेर्न मिल्ने आफ्नै क्रलर छैन। Google आफ्ना अवस्थित क्रलरले क्रल गर्छ, र robots.txt को एउटा टोकनले Gemini ले त्यो सामग्रीसँग के गर्न पाउँछ भन्ने निर्णय गर्छ। त्यसैले जाँच फरक हुन्छ: धेरैजसो काम Google Search Console र तपाईंको robots.txt मा हुन्छ, र अन्तिम चरण Gemini मै हुन्छ।
यस पेजमा
- 5 मिनेटको जाँच, चरणबद्ध रूपमा
- Gemini ले वेबसाइटबाट जानकारी कसरी लिन्छ?
- Google ले मेरो पेज इन्डेक्स गरेको छ कि कसरी जाँच्ने?
- के Google-Extended ले Gemini लाई मेरो साइट प्रयोग गर्नबाट रोकिरहेको छ?
- के फायरवालले ब्राउजरलाई छिर्न दिँदै Google लाई ब्लक गर्न सक्छ?
- Gemini ले मेरो साइट प्रयोग वा उद्धृत गर्छ कि कसरी हेर्ने?
- के AI Overviews, AI Mode र snippet नियमले Gemini मा असर गर्छन्?
- AISeeWhy ले यो कसरी जाँच्छ?
5 मिनेटको जाँच, चरणबद्ध रूपमा
- पेज Google को इन्डेक्समा छ भन्ने पुष्टि गर्न Google मा
site:र तपाईंको पेजको ठेगाना खोज्नुहोस्, वा Search Console को URL Inspection प्रयोग गर्नुहोस्। - आफ्नो robots.txt खोल्नुहोस् र
Googlebotले पेज ल्याउन पाउँछ रGoogle-Extendedनिषेधित छैन भन्ने पक्का गर्नुहोस्, तपाईंले opt-out गर्ने छान्नुभएको छैन भने। - AISeeWhy मा पेजको निःशुल्क जाँच चलाउनुहोस् वा
Googlebotuser agent सहित एउटा अनुरोध पठाउनुहोस्: यसले status 200 र ब्राउजरले पाउने उही पाठ पाउनुपर्छ। - Gemini लाई तपाईंको पेजले उत्तर दिने प्रश्न सोध्नुहोस् र उत्तरमुनि देखाइएका स्रोत खोल्नुहोस्।
पेज इन्डेक्स भएको छैन भने Gemini को grounding ले यसलाई प्रयोग गर्न सक्दैन, त्यसैले चरण 1 बाट सुरु गर्नुहोस्। तलका खण्डले हरेक चरण र त्यो असफल हुँदा के गर्ने बताउँछन्।
Gemini ले वेबसाइटबाट जानकारी कसरी लिन्छ?
Google को Gemini Apps Privacy Hub भन्छ Gemini का केही जवाफ Search नतिजामा grounded हुन्छन्। Google को क्रलर कागजातले grounding लाई तथ्यपरकता र सान्दर्भिकता सुधार्न prompt को समयमा मोडेललाई Google Search इन्डेक्सको सामग्री दिने काम भनेर परिभाषित गर्छ। उही पेज भन्छ Google-Extended ले Google ले क्रल गरेको सामग्री Gemini मोडेलको ट्रेनिङ र Gemini Apps तथा Vertex AI को Grounding with Google Search मा grounding का लागि प्रयोग गर्न मिल्छ कि मिल्दैन नियन्त्रण गर्छ।
Google-Extended को आफ्नै user agent string छैन। Google भन्छ क्रलिङ यसका अवस्थित user agent ले गर्छन्, र टोकनले robots.txt मा नियन्त्रणका रूपमा मात्र काम गर्छ। व्यवहारमा Gemini ले तपाईंको पेज प्रयोग गर्न दुई सर्त बन्छन्: Google को इन्डेक्समा पेज हुनुपर्छ, र तपाईंको robots.txt ले त्यसका लागि Google-Extended लाई निषेध गर्नु हुँदैन।
Gemini ले इन्डेक्स भएका कुन पेज प्रयोग वा उद्धृत गर्छ भनेर कसरी छान्छ, Google ले कागजातमा बताउँदैन। दुवै सर्त पूरा गर्दा तपाईंको पेज उपलब्ध हुन्छ; Gemini ले त्यही छान्छ भन्ने ग्यारेन्टी हुँदैन।
Google ले मेरो पेज इन्डेक्स गरेको छ कि कसरी जाँच्ने?
Google Search Console को URL Inspection टुल प्रयोग गर्नुहोस्। इन्डेक्स भएको संस्करणका लागि यसले देखाउँछ:
- पेज इन्डेक्स भएको छ कि छैन, वा "URL is unknown to Google" जस्तो कारण।
- अन्तिम क्रल मिति, र Google ले डेस्कटप वा मोबाइल आगन्तुकका रूपमा क्रल गर्यो।
- पेज ल्याउने काम सफल भयो कि भएन र robots.txt ले क्रलको अनुमति दियो कि दिएन।
- तपाईंले घोषणा गरेको canonical र Google ले छानेको canonical। यी फरक छन् भने Google ले आफ्नो छनोटलाई पेजको आधिकारिक संस्करण मान्छ।
Test live URL ले पेज तत्कालै ल्याउँछ, र View tested page ले स्क्रिनसट र Google ले पाएको HTML देखाउँछ। स्क्रिनसटमा च्यालेन्ज पेज छ वा HTML मा तपाईंको मुख्य पाठ छैन भने Google ले, र उसैसँग Gemini ले पनि, तपाईंको सामग्री देख्दैन। Request indexing ले Google लाई URL फेरि क्रल गर्न भन्छ; Google भन्छ यसमा प्रायः एक दिनजति लाग्छ, र इन्डेक्सिङको ग्यारेन्टी हुँदैन।
के Google-Extended ले Gemini लाई मेरो साइट प्रयोग गर्नबाट रोकिरहेको छ?
आफ्नो robots.txt खोल्नुहोस् र Google-Extended को नाम लिने समूह खोज्नुहोस्। त्यहाँको Disallow: / ले Google लाई तपाईंका पेज Gemini ट्रेनिङ वा Gemini Apps मा grounding का लागि प्रयोग नगर्न भन्छ। Google भन्छ यो टोकनले Google Search मा समावेश हुनेमा असर गर्दैन र रैंकिङ संकेत होइन, त्यसैले यो ब्लक छुट्न सजिलो छ: तपाईंको सर्च ट्राफिक सामान्य देखिन्छ, तर Gemini ले तपाईंका पेजमा उत्तर grounded गर्न सक्दैन। AI Overviews र Google-Extended बारे हाम्रो छुट्टै लेखले यो टोकनले Search मा के नियन्त्रण गर्छ र के गर्दैन बताउँछ।
यो टोकन अनुरोधमा कहिल्यै देखिँदैन, त्यसैले curl ले परीक्षण गर्न वा लगमा भेट्न सकिँदैन। फाइल पढ्नु नै एकमात्र जाँच हो:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" मिलाउँदा ठूलो-सानो अक्षर फरक पर्दैन, र कुनै समूहले Google-Extended को नाम लिँदैन भने यसमा * समूह लागू हुन्छ। AI ट्रेनिङको चर्चा सुरु हुँदा धेरै साइटले यो ब्लक थपेका थिए। सबैभन्दा लोकप्रिय 1,000 डोमेनको हाम्रो अध्ययनमा robots.txt भएका 518 साइटमध्ये 114 ले Google-Extended को नाम लिएका थिए र 94 (18.1%) ले यसका लागि होम पेज निषेध गरेका थिए। यसले grounding पनि समेट्ने भएकाले यो अझै तपाईंको चाहनासँग मिल्छ कि मिल्दैन निर्णय गर्नुहोस्।
के फायरवालले ब्राउजरलाई छिर्न दिँदै Google लाई ब्लक गर्न सक्छ?
सक्छ। बट सुरक्षा वा rate limit ले Google का क्रलरलाई 403, 429 वा च्यालेन्ज पेज दिन्छ भने Google ले पेज क्रल गर्न सक्दैन, र समयसँगै त्यो Search बाट र उसैसँग Gemini को grounding बाट बाहिरिन सक्छ। यहाँ URL Inspection नै सबैभन्दा राम्रो परीक्षण हो, किनभने Google ले आफ्नै ठेगानाबाट ल्याउँछ; तपाईंको कम्प्युटरबाट गरिएको curl परीक्षणले तपाईंका नियमले user agent लाई कसरी व्यवहार गर्छन् भन्ने मात्र देखाउँछ।
Google लाई सुरक्षित रूपमा अनुमति दिन नाममा भर नपरी आगन्तुक प्रमाणित गर्नुहोस्। Google ले reverse DNS lookup र त्यसपछि forward lookup को तरिका बताउँछ, र आफ्ना साझा क्रलरका IP दायरा common-crawlers.json मा प्रकाशित गर्छ:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com उदाहरणको ठेगानाको सट्टा आफ्नो लगबाट एउटा ठेगाना राख्नुहोस्। दुई lookup मिल्दैनन् भने त्यो अनुरोधले Google भएको दाबी मात्र गर्छ।
Gemini ले मेरो साइट प्रयोग वा उद्धृत गर्छ कि कसरी हेर्ने?
आफ्नो साइटको नाम नलिई Gemini लाई ग्राहकले सोध्ने प्रश्न सोध्नुहोस्, र स्रोत खोल्नुहोस्। Google को सहायता केन्द्र भन्छ Sources बटन जवाफको तल वा पाठभित्रै देखिन्छ, र यसले सम्बन्धित लिंकको प्यानल खोल्छ जसमा सार्वजनिक वेबसाइट पनि हुन सक्छन्। Sources बटन छैन भने Gemini ले त्यो जवाफका लागि लिंक दिएन, र Google भन्छ सबै जवाफमा लिंक हुँदैनन्। कुन डोमेन देखिन्छन् लेख्नुहोस् र उही प्रश्न केही हप्तासम्म दोहोर्याउनुहोस्।
डेभलपरले यही परीक्षण Gemini API मा Grounding with Google Search प्रयोग गरेर चलाउन सक्छन्। Google भन्छ यसले मोडेललाई वास्तविक समयको वेब सामग्रीसँग जोड्छ, र grounded उत्तरमा हरेक स्रोतको URL र शीर्षकसहित उद्धरण हुन्छन्, त्यसैले तपाईंको डोमेन देखिन्छ कि जाँच्न सक्नुहुन्छ। API का उत्तर Gemini एपले देखाउनेभन्दा फरक हुन सक्छन्।
Gemini सँग सम्बन्धित केही fetch भने तपाईंको सर्भरसम्म पुग्छन्। Google ले प्रयोगकर्ताले सुरु गर्ने fetcher सूचीबद्ध गर्छ, जस्तै Google-GeminiNotebook, जसले प्रयोगकर्ताले Gemini Notebook प्रोजेक्टमा स्रोतका रूपमा थपेका URL माग्छ, र Google-Agent, जुन Google को पूर्वाधारमा प्रयोगकर्ताको अनुरोधमा काम गर्ने एजेन्टले प्रयोग गर्छन्। Google भन्छ प्रयोगकर्ताले नै fetch मागेकाले यी fetcher ले सामान्यतया robots.txt बेवास्ता गर्छन्। यिनका भ्रमणले मानिसहरूले ती उत्पादनमार्फत तपाईंका पेज खोल्छन् भन्ने देखाउँछन्; यी माथि वर्णन गरिएको grounding को बाटो होइनन्।
के AI Overviews, AI Mode र snippet नियमले Gemini मा असर गर्छन्?
AI Overviews र AI Mode आफ्नै नियन्त्रण भएका Google Search सुविधा हुन्। Google ले तपाईंका पेजबाट के देखाइन्छ सीमित गर्ने तरिकाका रूपमा nosnippet, data-nosnippet, max-snippet र noindex सूचीबद्ध गर्छ। यसको robots meta tag कागजात भन्छ nosnippet ले सामग्रीलाई AI Overviews र AI Mode को सिधा इनपुटका रूपमा प्रयोग हुनबाट पनि रोक्छ, र max-snippet ले कति प्रयोग गर्न सकिन्छ सीमित गर्छ। Search Console मा पूरै साइटका लागि Search generative AI सेटिङ पनि छ, जसले साइटलाई AI Overviews, AI Mode र Discover का generative AI सुविधाबाट बाहिर राख्न सक्छ।
यीमध्ये कुनै पेजले Gemini एपको उल्लेख गर्दैन। snippet नियम वा Search Console सेटिङले Gemini को grounding बदल्छ, वा Google-Extended ले AI Overviews बदल्छ भनेर नमान्नुहोस्। noindex अपवाद हो: Google को grounding परिभाषाअनुसार Search इन्डेक्सबाहिरको पेज यसका लागि प्रयोग गर्न सकिँदैन। बिर्सिसकेका snippet नियम भेट्न HTML र हेडर जाँच्नुहोस्:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy ले यो कसरी जाँच्छ?
AISeeWhy को निःशुल्क जाँचले तपाईंको पेज वास्तविक ब्राउजरको छेउमा Googlebot र अन्य AI तथा सर्च क्रलरका रूपमा ल्याउँछ, Google-Extended टोकनसहित हरेकमा तपाईंको robots.txt लागू गर्छ, च्यालेन्ज पेज पहिचान गर्छ र JavaScript बिना कति पाठ आइपुग्छ देखाउँछ। सशुल्क प्लानमा उपलब्ध AI मा दृश्यता जाँचले तपाईंकै की प्रयोग गरेर Google Search grounding सहित Gemini API मार्फत तपाईंका प्रश्न सोध्छ र तपाईंको ब्रान्ड वा डोमेनको नाम आयो वा उद्धृत भयो देखाउँछ। यसले AI Overviews वा AI Mode मा सोध्दैन।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के Gemini ले मेरो साइट देख्न सक्छ कि निःशुल्क जाँच्न सकिन्छ?
सकिन्छ। Search Console, site: खोज, तपाईंको robots.txt र Gemini मा एउटा प्रश्न सोध्न केही खर्च लाग्दैन। AISeeWhy को निःशुल्क जाँचले दिनको एउटा पेजका लागि Googlebot, Google-Extended नियम र अन्य 14 क्रलर परीक्षण गर्छ।
के Gemini को आफ्नै क्रलर छ?
grounding का लागि छैन। Google भन्छ Google-Extended को user agent string छैन र क्रलिङ यसका अवस्थित क्रलरले गर्छन्। Google-GeminiNotebook र Google-Agent जस्ता प्रयोगकर्ताले सुरु गर्ने छुट्टै fetcher प्रयोगकर्ताले मागेपछि पेजमा आउँछन्, र Google भन्छ तिनले सामान्यतया robots.txt बेवास्ता गर्छन्।
Google-Extended ब्लक गरेँ भने पनि Gemini ले मेरो ब्रान्डको नाम लिन सक्छ?
Google भन्छ यसले Gemini Apps मा grounding का लागि तपाईंको सामग्री प्रयोग गर्दैन। यो नियमले तपाईंका आफ्नै पेज समेट्छ। तपाईंबारे लेख्ने अन्य साइटको सामग्रीबारे Google केही भन्दैन, त्यसैले Gemini ले ती स्रोतबाट तपाईंको ब्रान्डको नाम लिन सक्छ।
robots.txt को परिवर्तन Gemini सम्म पुग्न कति समय लाग्छ?
Google ले Gemini का लागि समय बताउँदैन। यसको robots.txt कागजात भन्छ Google ले सामान्यतया फाइल 24 घण्टासम्म cache गर्छ, त्यसैले फेरि परीक्षण गर्नुअघि कम्तीमा एक दिन पर्खनुहोस्, र Google ले विरलै फेरि क्रल गर्ने पेजका लागि अझ लामो।
के AI Overviews र Gemini ले उही स्रोत प्रयोग गर्छन्?
यी दुईको सम्बन्ध Google ले कागजातमा बताउँदैन। दुवैले Google को इन्डेक्स प्रयोग गर्छन्, तर नियन्त्रण फरक छन्: AI Overviews र AI Mode का लागि snippet नियम र Search Console सेटिङ, र Gemini grounding का लागि Google-Extended। यिनलाई छुट्टाछुट्टै जाँच्नुहोस्।
Gemini का उत्तर समयसँगै कसरी ट्र्याक गर्ने?
ग्राहकका प्रश्नको स्थिर सूची राख्नुहोस्, तिनलाई तालिकाअनुसार Gemini मा सोध्नुहोस् र स्रोतमा कुन डोमेन देखिन्छन् लेख्नुहोस्। AISeeWhy को AI मा दृश्यता जाँचले Google Search grounding सहित Gemini API मार्फत तपाईंका प्रश्न हरेक हप्ता चलाउँछ र बढीमा चार प्रतिस्पर्धीको छेउमा नाम आएको देखाउँछ। API का नतिजा Gemini एपभन्दा फरक हुन सक्छन्।
स्रोतहरू
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11