Google-CloudVertexBot
Google-CloudVertexBot ಸೈಟ್ ಮಾಲೀಕರ ಕೋರಿಕೆಯ ಮೇರೆಗೆ Google Cloud ನಲ್ಲಿ Vertex AI Agents ನಿರ್ಮಿಸಲು ಸೈಟ್ಗಳನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ. ಇದರ robots.txt ನಿಯಮಗಳು Google Search ಅಥವಾ ಇತರ ಉತ್ಪನ್ನಗಳ ಮೇಲೆ ಯಾವುದೇ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ. ನೀವು ಅಥವಾ Google Cloud ಗ್ರಾಹಕರು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಏಜೆಂಟ್ನ ಡೇಟಾ ಮೂಲವಾಗಿ ಬಳಸಿದರೆ ಮಾತ್ರ ಇದನ್ನು ತಡೆಯುವುದು ಮುಖ್ಯ.
ಇದನ್ನು ಹೇಗೆ ಅನುಮತಿಸುವುದು
User-agent: Google-CloudVertexBot
Allow: / ಇದನ್ನು ಹೇಗೆ ತಡೆಯುವುದು
User-agent: Google-CloudVertexBot
Disallow: / ಇದು ಏನು ಮಾಡುತ್ತದೆ
Google-CloudVertexBot ಗೆ ಉದ್ದೇಶಿಸಿದ ಕ್ರಾಲಿಂಗ್ ಆದ್ಯತೆಗಳು Vertex AI Agents ನಿರ್ಮಿಸಲು ಸೈಟ್ ಮಾಲೀಕರು ಕೋರಿದ ಕ್ರಾಲ್ಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ ಎಂದು Google ಹೇಳುತ್ತದೆ. ಇದು Google Search ಅಥವಾ ಇತರ Google ಉತ್ಪನ್ನಗಳ ಮೇಲೆ ಯಾವುದೇ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ. ಇದರ user agent ನಲ್ಲಿ Google-CloudVertexBot ಉಪಸ್ಟ್ರಿಂಗ್ ಇರುತ್ತದೆ.
robots.txt ನಲ್ಲಿ ಇದು Google-CloudVertexBot ಟೋಕನ್ನ ನಿಯಮಗಳನ್ನು, ಅವು ಇಲ್ಲದಿದ್ದರೆ Googlebot ನ ನಿಯಮಗಳನ್ನು ಅನುಸರಿಸುತ್ತದೆ. Google ಇದನ್ನು ತನ್ನ ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳಲ್ಲಿ ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ, ಅವು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಕ್ರಾಲ್ ಮಾಡುವಾಗ ಯಾವಾಗಲೂ robots.txt ಪಾಲಿಸುತ್ತವೆ.
robots.txt ಟೋಕನ್
Google-CloudVertexBot
ನಿಜವಾದ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
user agent ಸ್ಟ್ರಿಂಗ್ಗಳನ್ನು ನಕಲಿಸಬಹುದು ಎಂದು Google ಹೇಳುತ್ತದೆ ಮತ್ತು ಎರಡು ಹಂತದ DNS ಪರಿಶೀಲನೆಯನ್ನು ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ. ವಿನಂತಿಸುವ IP ಮೇಲೆ reverse DNS lookup ಚಲಾಯಿಸಿ: hostname googlebot.com, google.com ಅಥವಾ googleusercontent.com ನಿಂದ ಕೊನೆಗೊಳ್ಳಬೇಕು. ನಂತರ ಆ hostname ಮೇಲೆ forward lookup ಚಲಾಯಿಸಿ ಅದು ಅದೇ IP ಹಿಂತಿರುಗಿಸುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ. Google ತನ್ನ ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳ IP ಶ್ರೇಣಿಗಳನ್ನು JSON ಆಗಿಯೂ ಪ್ರಕಟಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ವಿಳಾಸಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಹೊಂದಿಸಬಹುದು.