Googlebot
Googlebot ಎಂಬುದು ತನ್ನ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ಗಳನ್ನು ರೂಪಿಸಲು Google ಬಳಸುವ ಮುಖ್ಯ ಕ್ರಾಲರ್. AI Overviews ಮತ್ತು AI Mode ನಂತಹ AI ವೈಶಿಷ್ಟ್ಯಗಳು ಸೇರಿದಂತೆ Search ಗಾಗಿ ಸೈಟ್ ಹೇಗೆ ಕ್ರಾಲ್ ಆಗುತ್ತದೆ ಎಂಬುದಕ್ಕೆ Googlebot ನ robots.txt ನಿಯಮಗಳೇ ನಿಯಂತ್ರಣ ಎಂದು Google ಹೇಳುತ್ತದೆ. ಇದನ್ನು ತಡೆದರೆ ನಿಮ್ಮ ಪುಟಗಳು Google Search ಮತ್ತು ಆ AI ಉತ್ತರಗಳಿಂದ ಹೊರಬೀಳುತ್ತವೆ.
ಇದನ್ನು ಹೇಗೆ ಅನುಮತಿಸುವುದು
User-agent: Googlebot
Allow: / ಇದನ್ನು ಹೇಗೆ ತಡೆಯುವುದು
User-agent: Googlebot
Disallow: / ಇದು ಏನು ಮಾಡುತ್ತದೆ
Google ನ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ಗಳನ್ನು ರೂಪಿಸಲು ಮಾಹಿತಿ ಹುಡುಕಲು Googlebot ಬಳಸಲಾಗುತ್ತದೆ. Googlebot ಟೋಕನ್ಗೆ ಉದ್ದೇಶಿಸಿದ ಕ್ರಾಲಿಂಗ್ ಆದ್ಯತೆಗಳು Google Search ಮತ್ತು Google Images, Video, Google News ಹಾಗೂ Discover ನಂತಹ ಉತ್ಪನ್ನಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ. ಇದು ಸ್ಮಾರ್ಟ್ಫೋನ್ ಮತ್ತು ಡೆಸ್ಕ್ಟಾಪ್ ಕ್ರಾಲರ್ ಆಗಿ ಚಲಿಸುತ್ತದೆ; ಎರಡೂ ಅದೇ Googlebot ನಿಯಮಗಳನ್ನು ಪಾಲಿಸುತ್ತವೆ, ಮತ್ತು ತನ್ನ ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕ್ರಾಲ್ ಮಾಡುವಾಗ ಯಾವಾಗಲೂ robots.txt ಪಾಲಿಸುತ್ತವೆ ಎಂದು Google ಹೇಳುತ್ತದೆ.
AI ವೈಶಿಷ್ಟ್ಯಗಳ ಕುರಿತ Google ನ ದಸ್ತಾವೇಜು Googlebot ನಿಯಮಗಳನ್ನು AI Overviews ಮತ್ತು AI Mode ಸೇರಿದಂತೆ Search ನ ನಿಯಂತ್ರಣ ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಮತ್ತು ತೋರಿಸುವುದನ್ನು ಮಿತಿಗೊಳಿಸಲು nosnippet, data-nosnippet, max-snippet ಮತ್ತು noindex ಕಡೆಗೆ ತೋರಿಸುತ್ತದೆ. Gemini ತರಬೇತಿಗೆ ಬಳಕೆಯನ್ನು Google-Extended ಪ್ರತ್ಯೇಕವಾಗಿ ನಿಯಂತ್ರಿಸುತ್ತದೆ.
ನಮ್ಮ 2026-11 ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ಇರುವ ಜನಪ್ರಿಯ ಸೈಟ್ಗಳಲ್ಲಿ 2.7% ಇದನ್ನು ತಡೆದಿದ್ದವು. →
robots.txt ಟೋಕನ್
Googlebot
User-agent ಸ್ಟ್ರಿಂಗ್
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 ನಿಜವಾದ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
user agent ಸ್ಟ್ರಿಂಗ್ಗಳನ್ನು ನಕಲಿಸಬಹುದು ಎಂದು Google ಹೇಳುತ್ತದೆ ಮತ್ತು ಎರಡು ಹಂತದ DNS ಪರಿಶೀಲನೆಯನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ. ವಿನಂತಿಸುವ IP ಮೇಲೆ reverse DNS lookup ಚಲಾಯಿಸಿ: hostname googlebot.com, google.com ಅಥವಾ googleusercontent.com ನಿಂದ ಕೊನೆಗೊಳ್ಳಬೇಕು. ನಂತರ ಆ hostname ಮೇಲೆ forward lookup ಚಲಾಯಿಸಿ ಅದು ಅದೇ IP ಹಿಂತಿರುಗಿಸುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ. Google ತನ್ನ ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳ IP ಶ್ರೇಣಿಗಳನ್ನು JSON ಆಗಿಯೂ ಪ್ರಕಟಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ವಿಳಾಸಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಹೊಂದಿಸಬಹುದು.