Googlebot

Google · सर्च इन्जिन

Googlebot आफ्ना सर्च इन्डेक्स बनाउने Google को मुख्य क्रलर हो। Google भन्छ, Googlebot का लागि robots.txt नियम AI Overviews र AI Mode जस्ता AI सुविधासहित Search का लागि साइट कसरी क्रल हुन्छ भन्ने नियन्त्रण हो। यसलाई ब्लक गर्दा तपाईंका पेज Google Search र ती AI उत्तरबाट हट्छन्।

यसलाई कसरी अनुमति दिने

User-agent: Googlebot
Allow: /

यसलाई कसरी ब्लक गर्ने

User-agent: Googlebot
Disallow: /

यसले के गर्छ

Googlebot Google का सर्च इन्डेक्स बनाउन जानकारी खोज्न प्रयोग हुन्छ। Googlebot टोकनलाई सम्बोधन गरिएका क्रल प्राथमिकताले Google Search र Google Images, Video, Google News र Discover जस्ता उत्पादनलाई असर गर्छन्। यो स्मार्टफोन र डेस्कटप क्रलरका रूपमा चल्छ; दुवैले उही Googlebot नियम पालना गर्छन्, र Google भन्छ यसका सामान्य क्रलरले स्वचालित रूपमा क्रल गर्दा सधैँ robots.txt पालना गर्छन्।

AI सुविधाबारे Google को कागजातले Googlebot का नियमलाई AI Overviews र AI Mode सहित Search को नियन्त्रण भनी वर्णन गर्छ, र के देखाइन्छ सीमित गर्न nosnippet, data-nosnippet, max-snippet र noindex तर्फ देखाउँछ। Gemini ट्रेनिङमा प्रयोग Google-Extended ले छुट्टै नियन्त्रण गर्छ।

हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 2.7% ले यसलाई ब्लक गरेका थिए। →

robots.txt टोकन

Googlebot

User-agent string

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

वास्तविक भ्रमण कसरी प्रमाणित गर्ने

Google भन्छ user agent string नक्कली बनाउन सकिन्छ र दुई चरणको DNS जाँच सिफारिस गर्छ। अनुरोध गर्ने IP मा reverse DNS lookup चलाउनुहोस्: hostname googlebot.com, google.com वा googleusercontent.com मा अन्त्य हुनुपर्छ। त्यसपछि त्यो hostname मा forward lookup चलाउनुहोस् र यसले उही IP फर्काउँछ भनी पक्का गर्नुहोस्। Google ले आफ्ना सामान्य क्रलरका IP दायरा पनि JSON मा प्रकाशित गर्छ, त्यसैले तपाईं ठेगाना स्वचालित रूपमा मिलाउन सक्नुहुन्छ।

तपाईंको साइटले यसलाई भित्र आउन दिन्छ कि जाँच्नुहोस् →

AEO र SEO: के उस्तै छ र AI उत्तरका लागि के बदलिन्छ →