Googlebot
Googlebot हा सर्च इंडेक्स तयार करणारा Google चा मुख्य क्रॉलर आहे. Google सांगते की Search साठी साइट कशी क्रॉल होते, AI Overviews आणि AI Mode सारख्या AI वैशिष्ट्यांसह, याचे नियंत्रण Googlebot साठीचे robots.txt नियम करतात. त्याला ब्लॉक केल्याने तुमची पेजेस Google Search आणि त्या AI उत्तरांमधून काढली जातात.
त्याला परवानगी कशी द्यावी
User-agent: Googlebot
Allow: / त्याला ब्लॉक कसे करावे
User-agent: Googlebot
Disallow: / तो काय करतो
Googlebot Google चे सर्च इंडेक्स तयार करण्यासाठी माहिती शोधण्यासाठी वापरला जातो. Googlebot टोकनला उद्देशून दिलेल्या क्रॉलिंग प्राधान्यांचा Google Search आणि Google Images, Video, Google News आणि Discover सारख्या उत्पादनांवर परिणाम होतो. तो स्मार्टफोन आणि डेस्कटॉप क्रॉलर म्हणून चालतो; दोन्ही तेच Googlebot नियम पाळतात, आणि Google सांगते की त्याचे common crawlers स्वयंचलितपणे क्रॉल करताना नेहमी robots.txt पाळतात.
AI वैशिष्ट्यांवरील Google चे दस्तऐवज Googlebot नियमांचे वर्णन AI Overviews आणि AI Mode सह Search साठीचे नियंत्रण म्हणून करतात, आणि काय दाखवले जाते ते मर्यादित करण्यासाठी nosnippet, data-nosnippet, max-snippet आणि noindex कडे निर्देश करतात. Gemini ट्रेनिंगसाठीचा वापर Google-Extended द्वारे स्वतंत्रपणे नियंत्रित होतो.
आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 2.7% साइटनी त्याला ब्लॉक केले. →
robots.txt टोकन
Googlebot
युजर-एजंट स्ट्रिंग
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 खऱ्या भेटींची पडताळणी कशी करावी
Google सांगते की युजर एजंट स्ट्रिंग बनावट असू शकतात आणि दोन टप्प्यांची DNS तपासणी सुचवते. विनंती करणाऱ्या IP वर reverse DNS lookup चालवा: hostname googlebot.com, google.com किंवा googleusercontent.com ने संपला पाहिजे. मग त्या hostname वर forward lookup चालवा आणि तो तोच IP देतो याची खात्री करा. Google आपल्या common crawlers च्या IP रेंज JSON म्हणून प्रकाशित करते, त्यामुळे तुम्ही पत्ते स्वयंचलितपणे जुळवू शकता.
तुमची साइट त्याला आत येऊ देते का ते तपासा →
AEO विरुद्ध SEO: काय सारखे आहे आणि AI उत्तरांसाठी काय बदलते →