Googlebot

Google · सर्च इंजन

Googlebot Google का मुख्य क्रॉलर है, जो उसके सर्च इंडेक्स बनाता है। Google के अनुसार Googlebot के लिए robots.txt नियम ही यह नियंत्रित करते हैं कि साइट Search के लिए कैसे क्रॉल हो, जिसमें AI Overviews और AI Mode जैसी AI सुविधाएँ भी शामिल हैं। इसे ब्लॉक करने से आपके पेज Google Search और उन AI जवाबों से हट जाते हैं।

यह क्या करता है

Googlebot का उपयोग Google के सर्च इंडेक्स बनाने के लिए जानकारी खोजने में होता है। Googlebot टोकन को दी गई क्रॉलिंग प्राथमिकताएँ Google Search और Google Images, Video, Google News तथा Discover जैसे उत्पादों को प्रभावित करती हैं। यह स्मार्टफ़ोन और डेस्कटॉप क्रॉलर के रूप में चलता है; दोनों एक ही Googlebot नियमों का पालन करते हैं, और Google के अनुसार उसके सामान्य क्रॉलर स्वचालित क्रॉलिंग में हमेशा robots.txt का पालन करते हैं।

AI सुविधाओं पर Google का दस्तावेज़ Googlebot नियमों को Search के नियंत्रण के रूप में बताता है, जिसमें AI Overviews और AI Mode शामिल हैं, और जो दिखाया जाता है उसे सीमित करने के लिए nosnippet, data-nosnippet, max-snippet और noindex की ओर इशारा करता है। Gemini ट्रेनिंग के लिए उपयोग को अलग से Google-Extended नियंत्रित करता है।

हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 2.7% ने इसे ब्लॉक किया था। →

robots.txt टोकन

Googlebot

User-agent स्ट्रिंग

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

इसे अनुमति कैसे दें

User-agent: Googlebot
Allow: /

इसे ब्लॉक कैसे करें

User-agent: Googlebot
Disallow: /

असली विज़िट कैसे सत्यापित करें

Google के अनुसार user agent स्ट्रिंग की नकल की जा सकती है, और वह दो चरणों में DNS जाँच की सलाह देती है। अनुरोध भेजने वाले IP पर रिवर्स DNS लुकअप करें: होस्टनाम googlebot.com, google.com या googleusercontent.com पर खत्म होना चाहिए। फिर उस होस्टनाम पर फ़ॉरवर्ड लुकअप करें और पुष्टि करें कि वह वही IP लौटाता है। Google अपने सामान्य क्रॉलरों की IP रेंज JSON में भी प्रकाशित करती है, जिससे आप पतों का मिलान अपने-आप कर सकते हैं।

जाँचें कि आपकी साइट इसे अंदर आने देती है या नहीं →

AEO बनाम SEO: क्या एक जैसा है और AI उत्तरों के लिए क्या बदलता है →