Googlebot
Googlebot आफ्ना सर्च इन्डेक्स बनाउने Google को मुख्य क्रलर हो। Google भन्छ, Googlebot का लागि robots.txt नियम AI Overviews र AI Mode जस्ता AI सुविधासहित Search का लागि साइट कसरी क्रल हुन्छ भन्ने नियन्त्रण हो। यसलाई ब्लक गर्दा तपाईंका पेज Google Search र ती AI उत्तरबाट हट्छन्।
यसलाई कसरी अनुमति दिने
User-agent: Googlebot
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: Googlebot
Disallow: / यसले के गर्छ
Googlebot Google का सर्च इन्डेक्स बनाउन जानकारी खोज्न प्रयोग हुन्छ। Googlebot टोकनलाई सम्बोधन गरिएका क्रल प्राथमिकताले Google Search र Google Images, Video, Google News र Discover जस्ता उत्पादनलाई असर गर्छन्। यो स्मार्टफोन र डेस्कटप क्रलरका रूपमा चल्छ; दुवैले उही Googlebot नियम पालना गर्छन्, र Google भन्छ यसका सामान्य क्रलरले स्वचालित रूपमा क्रल गर्दा सधैँ robots.txt पालना गर्छन्।
AI सुविधाबारे Google को कागजातले Googlebot का नियमलाई AI Overviews र AI Mode सहित Search को नियन्त्रण भनी वर्णन गर्छ, र के देखाइन्छ सीमित गर्न nosnippet, data-nosnippet, max-snippet र noindex तर्फ देखाउँछ। Gemini ट्रेनिङमा प्रयोग Google-Extended ले छुट्टै नियन्त्रण गर्छ।
हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 2.7% ले यसलाई ब्लक गरेका थिए। →
robots.txt टोकन
Googlebot
User-agent string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 वास्तविक भ्रमण कसरी प्रमाणित गर्ने
Google भन्छ user agent string नक्कली बनाउन सकिन्छ र दुई चरणको DNS जाँच सिफारिस गर्छ। अनुरोध गर्ने IP मा reverse DNS lookup चलाउनुहोस्: hostname googlebot.com, google.com वा googleusercontent.com मा अन्त्य हुनुपर्छ। त्यसपछि त्यो hostname मा forward lookup चलाउनुहोस् र यसले उही IP फर्काउँछ भनी पक्का गर्नुहोस्। Google ले आफ्ना सामान्य क्रलरका IP दायरा पनि JSON मा प्रकाशित गर्छ, त्यसैले तपाईं ठेगाना स्वचालित रूपमा मिलाउन सक्नुहुन्छ।